データ送信について、気になる方向けに文章をマスキングする機能を用意しました。 Enterする前に下記ボタンを押すことで、サーバーにデータを送信する前に、ブラウザ上でマスキング処理を実施することができます。 マスキング実施 ※注意書き マスキングの結果については必ずご自身でご確認ください。 できる限り元の品詞などを保持していますが、当然ながら解析結果には少なくない影響を与えることはご了解ください。 本システムの送信データの取り扱いについては 小説形態素解析CGIとは？ をご確認ください。
NSLinguisticTaggerを用いると、自然言語のテキストを品詞（名詞、動詞、代名詞）や「個人名」「地名」といった属性で区分（トークンに分解）することができます。日本語の形態素解析も可能です。 使い方は非常にシンプルで、基本的な手順は 1. スキームを引数に渡してNSLinguisticTaggerオブジェクトを生成 2. 処理対象テキストをセット 3. トークン分解開始 の3ステップです。 // スキーム NSArray *schemes = @[NSLinguisticTagSchemeLexicalClass]; // NSLinguisticTaggerオブジェクトを生成 NSLinguisticTagger *tagger = [[NSLinguisticTagger alloc] initWithTagSchemes:schemes options:0]; // 処理対
後半部分が重要で、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である ということです。 さて、実例です。たとえば次の文章を考えてみます。 「通信販売大手セシールは９日、生命保険の販売に本格参入する方針を明らかにした。」 まず形態素解析するとこんな感じになります。 通信 名詞,サ変接続,*,*,*,*,通信,ツウシン,ツーシン 販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ 大手 名詞,一般,*,*,*,*,大手,オオテ,オーテ セシール 名詞,固有名詞,組織,*,*,*,セシール,セシール,セシール は 助詞,係助詞,*,*,*,*,は,ハ,ワ ９ 名詞,数,*,*,*,*,９,キュウ,キュー 日 名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ 、 記号,読点,*,*,*,*,、,、,、 生命 名詞,一般,*,*,*,*,生命,セイメイ,セイメイ 保険 名詞,一般
いわゆる「Web2.0」っぽい要素である「タグ」。 一般にはタグ付けは手動で行うわけですが、自然言語テキストへのタグ付け(キーワード抽出)を自動で行うことができれば、あれこれと可能性が広がって楽しそう……しかし、それは実現が難しかったり高コストだったりして、簡単に手を出せる解はあまりありません。 ラボの奥さんの作成したキーワード抽出モジュール Lingua::JA::Summarize は次の特徴を持っています。 動作要件の敷居が低い 辞書のメンテナンスをしなくても、未知語や熟語もある程度抽出してくれる 希望の結果に近づけるためのチューニングが可能 本モジュールを使って、サイボウズ・ラボ内での情報交換を行っている社内掲示板をスレッド単位で解析しているのですが、辞書を一切チューニングしていない状態でも「しょこたん☆ぶろぐ」や「猫かぶり隊隊員ニャンコ達」などの特徴的なキーワードが抽出されます（
概要 Abstract 【主な特徴】 Named Entity Extraction Tool(以下NExT)は、固有表現抽出ツールです。 大量のテキスト文書情報に含まれる人名、組織名、地名、数量表現を自動的に判別し、 様々な形式で抽出・タグ付けします。NExTは、 形態素解析処理済のテキスト情報を入力とすることで、より精度の高い処理が可能です。 現在は、茶筅(ChaSen Ver.2.02[Matsumoto1998], chasen-2.3.0[Matsumoto2003])および Juman version 3.0[Kurohashi1996]の形態素解析システムの処理結果が利用可能です。 NExTは、 Perl で記述しています。NExTは、NExT開発 Project によって開発されています。 NExTは、Perlが動作する環境であれば、UNIX, Win32, OS/2 を
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード
Bulkfeeds を使って特徴的単語を表示 Bulkfeeds: Similarity Search を表示していると、ときどき「これどの単語でひっかけてんだよ」という謎の記事が関連付けられることがあります。記事一覧と一緒に関連付けに用いられた特徴的単語も表示できるといいなぁ、と思っていたら、特徴的単語を取得する API が用意されました。 blog.bulknews.net: Bulkfeeds: Similarity API 更新 Bulkfeeds の Similarity REST API で、どの単語が特徴的単語かを bulkfeeds:similarTerms というエレメントからとれるようにしました。 ... 単語だけほしいんだ！というひとは、similar.xml の方をつかってください。 早速 quick hack。similar.xml のほうを使って、エントリーの特
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
