異なる理論的枠組みやツール間で言語データを効率的に扱うためには、言語カテゴリーを体系的に整理した「インベントリ（目録）」が不可欠です。これらは、言語リソース間の相互運用性を高め、自然言語処理（NLP）ツールの学習や、言語をまたいだ定量的な評価を可能にするための基盤となります。理論面では、人類共通の「普遍文法」のような普遍的なカテゴリーの存在が提唱されてきましたが、同時に多くの批判的な議論も存在します。

Key Facts

  • 相互運用性の向上： 異なるアノテーションツールやリソース間でデータを共有するための標準的な目録が必要とされる。
  • 品詞タグの多様性： 英語のような言語でも、単純な9品詞から、詳細な形態情報を反映した150種類以上のタグセットまで幅広く存在する。
  • グローバル標準の追求： Universal Dependencies（UD）などのプロジェクトが、世界中の言語に適用可能な共通アノテーションを目指している。
  • オントロジーの役割： GOLDやOLiAなどのオントロジーが、言語記述における概念的な整合性を担保している。

品詞（POS）タグセットの構造と課題

一般的に英語の品詞は名詞や動詞など9つのカテゴリーで教えられますが、実際の計算言語学における品詞タグセット（POS tagsets）はより複雑です。例えば、名詞を単数・複数や固有名詞で区別したり、動詞の時制や相を反映させたりすることで、タグの数は大幅に増加します。

コンピュータによる品詞タグ付けでは、英語の場合に50から150程度のタグを使い分けるのが一般的です。しかし、ギリシャ語やラテン語のような屈折語ではタグ数が膨大になり、コイネー・ギリシャ語の研究では1,000以上の品詞が使用された例もあります。一方、イヌイット語のような膠着語では、単語の構造が複雑すぎるため、タグ付け自体が極めて困難な場合があります。

代表的な例として、ペンシルベニア大学のPenn Treebankプロジェクトで開発された「Penn tag set」が、アメリカ英語のタグセットとして広く普及しています。

多言語アノテーションの標準化への取り組み

欧州では、1994年から1998年にかけて欧州委員会主導でEAGLESガイドラインが策定されました。これは西欧諸国における品詞や構文のアノテーションを標準化し、大規模な言語リソースの構築や評価のためのベストプラクティスを提供することを目的としていました。

その後、より広範な言語への適用を目指してUniversal Dependencies (UD)プロジェクトが始動しました。UDは、依存構造木を用いた表現を採用し、世界70以上の言語、100以上のツリーバンクを提供しています。UDの特徴は、12の基本カテゴリーという極めて簡略化されたタグセットを核としつつ、個別の言語特性に応じた形態論的な拡張を認めている点にあります。

また、句構造構文においてはPenn Treebankの仕様が、日本語、中国語、アラビア語、アイスランド語など多くの言語に適用・拡張されてきました。

言語記述のための形式的枠組みとオントロジー

言語学的な記述を形式化し、データ間のマッピングを容易にするために、いくつかのオントロジーや標準規格が開発されました。

GOLDとOLiA

GOLD (General Ontology for Linguistic Description)は、記述言語学における基本カテゴリーと関係性を形式化したオントロジーです。もともとは絶滅危惧言語のデータ形式を統一するために考案されました。現在は、GOLDの概念を継承しつつ、100以上の言語のアノテーションスキームを統合したOLiA (Ontologies of Linguistic Annotation)が、Linked Open Dataクラウドにおける主要なハブとして機能しています。

ISO 12620とISOcat

ISO 12620は、翻訳やNLPで使用される言語用語を登録し、異なるシステム間のマッピングを定義するデータカテゴリーレジストリの標準規格です。その実装であるISOcatは、永続的な識別子（URI）を提供し、相互運用性を支援してきました。現在は、コミュニティベースで維持されているlexinfoなどが、辞書メタデータの標準としてその役割を担っています。

インターリニア・グロス（行間注釈）の慣習

言語学の研究では、原文と翻訳文の間に、形態的な意味や定義を簡潔に記すインターリニア・グロス（Interlinear Gloss）という手法が用いられます。これにより、読者は原文の構造と言語的な機能（格や数など）を容易に把握できます。グロスのラベルには厳格な世界標準はありませんが、「ライプツィヒ・グロッシング・ルール（Leipzig Glossing Rules）」などが共通の指針として広く利用されています。

主要な言語カテゴリー・フレームワークの比較

言語アノテーションおよび記述フレームワークの概要
名称 主な目的 特徴・アプローチ 現在の状況
Penn tag set 英語の品詞タグ付け 詳細な形態区別を含むタグセット 広く普及
Universal Dependencies 多言語共通の構文解析 依存構造木と簡略化された共通タグ 活発に展開中
EAGLES 欧州言語の標準化 計算言語学的なマークアップ指針 後続プロジェクトへ影響
OLiA アノテーションの統合 多様なスキームを繋ぐ参照オントロジー GitHubで開発中
ISO 12620 / ISOcat 用語レジストリの標準化 用語間のマッピングとURI提供 lexinfo等へ移行

Frequently Asked Questions

品詞タグセットの数が言語によって異なるのはなぜですか？

言語の形態論的な複雑さが異なるためです。英語のような言語でも詳細な区別を行えば100以上のタグが必要になりますが、ギリシャ語のような屈折語ではさらに多くなり、膠着語では単語内部の構造が複雑すぎて従来のタグ付け手法が適用できない場合があります。

Universal Dependencies (UD) のメリットは何ですか？

世界中の多様な言語に対して、共通のアノテーション基準を適用できる点です。これにより、言語をまたいだ構文解析の比較研究や、多言語対応のNLPツールの開発が効率的に行えるようになります。

インターリニア・グロスとは具体的にどのようなものですか？

原文の各単語の直下に、その単語が持つ文法的な機能（例：「名詞・単数・主格」など）を略語で記したものです。これにより、翻訳文だけでは分からない原文の構造的な詳細を明示できます。

OLiAとGOLDの違いは何ですか？

GOLDは記述言語学の基本カテゴリーを形式化した先駆的なオントロジーであり、OLiAはそれを発展させ、実際のコーパスアノテーションスキームを100以上の言語で統合し、相互運用性を高めたより実践的な参照モデルです。

ISOcatは現在も利用されていますか？

ISO 12620:2019の改訂により、言語テクノロジー向けのレジストリとしての機能は制限され、ISOcatの開発は活発ではありません。現在はCLARIN Concept Registryやlexinfoなどの後継システムやコミュニティ標準に移行しています。