タグ

linksとMorphologicalAnalysisに関するmanboubirdのブックマーク (3)

  • 新語 造語 未知語 の検出手法 : 研究開発

    自然言語処理において、 辞書は単語の文法的意味の情報源として必要不可欠であり、辞書に登録されていない単語を減少させるため、 辞書の語彙を増強する努力がなされている。 新語や専門用語は絶えず増え続けているため、 辞書作成の作業は多大な労力を要するのみならず、 各解析段階での未知語との遭遇は避けられず、大きな問題の一つとなっている。 ※当然ですが 形態素解析が必要な言語のみの研究です。 これができていないと 妙な箇所で形態素分割することになります。 ヒューリスティックな検出は色々ありますが、ヒューリスティックではない統計的方法です。 概して、単語(と見なせるかもしれない記号列)の前後情報から最も尤もらしいモデルを推定します。 出現頻度と連接頻度に基づく専門用語抽出 湯紘彰 森辰則 横浜国立大学 中川裕志   東京大学 情報処理学会研究報告. 自然言語処理研究会報告 2001(86) ターム性

    新語 造語 未知語 の検出手法 : 研究開発
  • ツールの紹介

    LinuxまたはWindows上で動く自然言語処理のツールや,Web上で実際にすぐに試せるツールを紹介しています.実際に触ってみてくださいね. 紹介するツールは随時増やしていきます. Web上ですぐに試せるツール ここで紹介するツールはどれも,インストール作業不要でWeb上ですぐに試せるツールばかりです.気軽に試してみてください. Ajax IME, Sumibi.org 海外でインターネットカフェに行ったとき,メールを読むことはできても,日語を入力することができなくて困ったことはありませんか?こんなときは,どちらかのサイトを使ってみてください.Webの技術を利用することにより,仮名漢字変換のソフトが入っていなくても日語を入力できます. 専門用語(キーワード)自動抽出サービス「言選Web」 専門的な文書から専門用語をピックアップしてくれます.東京大学の中川裕志先生の開発

  • 英語 (などの欧米言語) の形態素解析ツールでオープンソースのものを探しています。…

    英語 (などの欧米言語) の形態素解析ツールでオープンソースのものを探しています。 日語でいうと、MeCab, ChaSenのようなツールです。 各単語の品詞、原型などを知りたいのです。 できれば、英語スペイン語、フランス語ぐらいは知りたいのですが、英語だけでもかまいません。

  • 1