多言語間での円滑なコミュニケーションを実現するためには、コンピュータが処理可能な形式で言語データを管理する共通の仕組みが不可欠です。LMF (Lexical Markup Framework) は、ISO/TC 37によって策定された国際標準(ISO 24613)であり、自然言語処理(NLP)や機械可読辞書(MRD)のためのレキシコン(語彙目録)を標準化することを目的としています。
このフレームワークは、単一言語から多言語にわたるあらゆる規模の辞書リソースに適用可能です。また、書き言葉だけでなく話し言葉の表現もカバーしており、形態論、構文論、計算意味論、さらにはコンピュータ支援翻訳まで、幅広い言語学的記述をサポートしています。特定の言語圏に限定されず、世界中のあらゆる自然言語を対象としている点が大きな特徴です。
Key Facts
- 国際標準規格: ISO 24613として2008年11月17日に正式に発行されました。
- 汎用的な適用範囲: WordNetやEDR、PAROLEなどの主要なレキシコンを表現でき、あらゆる自然言語に対応しています。
- 目的: 語彙リソースの作成・利用のための共通モデルを提供し、データ交換や大規模なリソース統合を容易にすることです。
- 設計基盤: OMGが定義するUML(統一モデリング言語)に基づいたクラス図で構造が規定されています。
- 相互運用性: ISO/TC 37ファミリーの他の標準(単語分かち書きやアノテーションなど)と連携して動作します。
LMFの開発経緯と歴史
LMFの誕生までには、GENELEX、EDR、EAGLES、MULTEXT、PAROLE、SIMPLE、ISLEといった数多くの先駆的なプロジェクトによる研究蓄積がありました。これらを踏まえ、2003年夏に米国代表団の提案により、NLPおよびレキシコン表現に特化した標準化作業が本格的に始動しました。
開発プロセスでは、イタリア、フランス、米国の専門家が中心となり、世界中から集まった60名以上のエキスパートによる要件定義が行われました。特に、言語によって扱いが困難な「形態論」の処理メカニズムには細心の注意が払われました。5年間にわたる議論と13回に及ぶバージョン改訂を経て、最終的に一貫性のあるUMLモデルとして結実し、現在のNLPレキシコン分野における最先端の知見を統合した形式となっています。
技術的構造とモデルの仕組み
LMFは、柔軟性と拡張性を両立させるために階層的な構造を採用しています。中心となるのはコアパッケージであり、ここには語彙エントリーにおける情報の基本階層という「骨組み」が定義されています。
このコアパッケージをベースに、特定の用途に応じた拡張パッケージを組み合わせることで、より詳細な記述が可能になります。拡張機能の対象には、形態論、MRD、NLP構文・意味論、多言語表記、多語表現パターンなどが含まれます。
標準化の二層構造
ISO/TC 37ファミリーの標準は、効率的な管理のために「高レベル仕様」と「低レベル仕様」の二層構造で構成されています。
- 高レベル仕様: LMFのような構造的要素を定義します。
- 低レベル仕様: メタデータとして使用される標準化された定数(言語コード ISO 639、文字コード ISO 15924、国コード ISO 3166、Unicode ISO 10646など)を提供します。
例えば、「女性名詞」や「他動詞」といった言語学的な定数はLMF内部で定義されるのではなく、ISO/TC 37が管理するDCR (Data Category Registry) から参照されます。これにより、構造(LMF)と属性(DCR)を分離した一貫性のあるデータ管理が実現しています。
実装例とデータ表現
実際のデータ表現では、UMLインスタンス図やXML形式が用いられます。例えば、「clergyman(聖職者)」という見出し語(Lemma)に対し、単数形と複数形の屈折形(Word Form)を紐付けるといった構造を定義します。この際、言語指定にはISO 639-3のコード(例: eng)が使用され、品詞などの属性にはDCRのカテゴリーが適用されます。
LMFは非常に複雑な言語記述を表現できる能力を持っており、その出力形式としてXML DTD(文書型定義)が提供されています。
LMFの活用事例と研究成果
LMFは世界各地の言語研究に活用されており、多様な言語での実装例が報告されています。
| 対象領域・言語 | 主な活用内容・プロジェクト |
|---|---|
| 欧州言語 | GermaNetのWordnet-LMF化、UBY(大規模統合意味リソース)の構築 |
| アジア言語 | 電子辞書への適用とアジア諸言語への影響研究 |
| セム系言語 | アラビア語の大規模辞書モデリング、動詞の構文レキシコン作成 |
| アフリカ言語 | ウォロフ語(Wolof)のレキシコン構築 |
| 固有名詞 | 多言語関係レキシカルデータベース「Prolexbase」 |
また、2013年にはLMFに特化した書籍が出版されており、Wordnet-LMFやGlobalAtlas、Wordscapeといった具体的なシステムや産業応用例が詳細に解説されています。
Frequently Asked Questions
LMFを導入する最大のメリットは何ですか?
異なる組織やプロジェクトで作成された語彙リソースの間で、データの互換性を確保し、容易に交換や統合ができるようになることです。共通のモデルがあるため、開発コストの削減とリソースの再利用性が向上します。
LMFはどのような言語に対応していますか?
特定の言語に制限はなく、世界中のすべての自然言語に対応しています。実際に、欧州言語だけでなく、アジア、アフリカ、セム系言語などでの適用事例が報告されています。
UMLやXMLとはどのような関係にありますか?
LMFの論理的な構造(クラス図など)はUMLを用いて定義されており、それを実際のデータとして実装・交換するための形式としてXML(およびDTD)が提供されています。
DCR (Data Category Registry) とは何ですか?
言語学的な属性(例:単数/複数、自動詞/他動詞など)を定義した定数集です。LMFはこのDCRを参照することで、属性名の表記揺れを防ぎ、国際的な一貫性を保っています。
WordNetのような既存の辞書とも互換性はありますか?
はい。LMFはWordNetやEDRなどの主要なレキシコンを表現できるように設計されており、実際にWordnet-LMFのような標準化プロジェクトが進められています。
References
- "ISO 24613-1:2024 – Language resource management – Lexical markup framework (LMF) – Part 1: Core model". . Retrieved 2024-01-31.
- "The relevance of standards for research infrastructures" (PDF). Hal.inria.fr. Retrieved 2016-01-24.
- "Lexical Markup Framework (LMF)" (PDF). Hal.inria.fr. Retrieved 2016-01-24.
- "Lexical markup framework (LMF) for NLP multilingual resources" (PDF). Hal.inria.fr. Retrieved 2016-01-24.
- "Vers la mise en place d'un lexique basé sur LMF pour la langue Wolof" (PDF). Aclweb.org. Retrieved 2016-01-24.
- "Standardizing Wordnets in the ISO Standard LMF: Wordnet-LMF for GermaNet" (PDF). Aclweb.org. Retrieved 2016-01-24.
- "Subcat-LMF: Fleshing out a standardized format for subcategorization frame interoperability" (PDF). Aclweb.org: 550–560. April 2012. Retrieved 2016-01-24.
- "UBY – A Large-Scale Unified Lexical-Semantic Resource Based on LMF" (PDF). Aclweb.org. Retrieved 2016-01-24.
- "Building a standardized Wordnet in the ISO LMF for aeb language" (PDF). Aclweb.org. Retrieved 2016-01-24.
- "LREC 2008 Proceedings". Lrec-conf.org. Retrieved 2016-01-24.