ジャストシステムの形態素解析技術
- 2. 2 ATOK、ConceptBaseで培ったノウハウと 機械学習を融合した日本語解析エンジン JustSystems Morphological Analysis Technorogy ”ジャストシステムの形態素解析技術”
- 3. 統計的手法による形態素解析 表記 品詞 にわ 一般名詞 に 助詞 わに 一般名詞 にわとり 一般名詞 が 助詞 い 上一段動詞 る 活用語尾：終止 。 句点 区切って、品詞を選ぶ 系列ラベリング問題 隣接する要素の情報を利用 (n-gram) 必要なリソース • 辞書 • 教師データ（学習コーパス） （ほかのやり方もあります） 3
- 4. 分析が大事 統計手法 ○すぐに精度がだせる × 少数で深刻な問題は数値ではみえない ちゃんと事例をみる • 精度がいいとおもったら…… → 同じフレーズが何度も出現 • ユーザーにあわせた評価 4
- 6. でもむやみに辞書にいれると…… 「まれ」を人名で登録 辞書登録には ノウハウが必要 6 表記 品詞 こういう 連体詞 例 一般名詞 は 助詞 まれ 固有人名 で 助動詞 は 助詞 な 補助用言 い 活用語尾：終止
- 7. 登録する? しない? 説明性 • 一貫性 • 規範性? 新語 一過性かどうか 弊害 辞書の肥大化、誤解析、メンテナンス性 7
- 8. 人手の介入 クリティカルな事例 どうしても直さなきゃいけない 機械学習では • 挙動を説明できない • 学習のたび結果が変わる どこかに介入できるところをつくる • ルールによる補正 • ユーザー辞書 8
- 10. JMATの品詞 ユーザーがみる品詞 • わかりやすい分類（学校文法を基礎） • たくさんあるとつかいこなせない 解析器の内部状態 • 精度の確保にはあるていどの粒度が必要 • JMATでは600以上を定義 • コーパスはこちらで作成 10
- 13. 区切りの単位 区切り単位はアプリケーションによる • 長単位・中単位 意味、統語構造の処理用 • 短単位 検索用、後段処理の基本要素として 形態素 → 単語 → 統語構造 • 語構成と統語構造は別レイヤー • まぜちゃいけないんだけど…… 13
- 14. 表記統制 軽量な単語識別 • 検索 • 後段処理 統制対象 • 異表記 • 送り仮名 14 たけのこ タケノコ 筍 竹の子 タケノコ
- 15. 短単位とまぜるとつらい 基本方針: 生物名はカタカナ きりん → キリン、象 → ゾウ 短単位に切ると…… • マツバ/ガニ、カニ • カニでマツバガニが検索できない • しかたないので → 松葉/蟹、蟹 どうしても両立しない原則はでてくる 15