今日から8月ですね！我が家の猫も夏毛に生え替わるようで、私も毛だらけです。志田です。 さて、今回は「似ている」を探したいと思います。なにかとなにかがどのくらい似ているのか、という情報があれば、それが役に立つシーンはたくさんありますよね。 ブログの似ている記事を探したり、趣味の似ているユーザを探したり、用途は様々です。 「何が似ているのか」という尺度にも様々あるように、類似度というのはいろいろな観点から調べることができます。 今回は、アシアルブログから似ている記事を探してみたいと思います。 手順としては、Mecabというライブラリを使って記事を形態素解析し、単語に分けます。 そして、元となる記事とその他の記事全体を見て、コサイン類似度という手法を用いて記事同士の類似度を測定し、似ている記事を3件見つけます。 (1) ブログ記事を取得する ブログ記事を取得し、ディレクトリに保存しておきます。
環境情報(2009/01/05追加) CentOS5.2 / PHP 5.2.11 インストールからサンプルプログラム作成までにお世話になったサイト一覧 本家サイト MeCab: Yet Another Part-of-Speech and Morphological Analyzer 参考サイト ウノウラボ PHPとMecabでキーワード自動リンクを実装する MeCab の辞書構造と汎用テキスト変換ツールとしての利用 Mecabのインストール CentOSはyumでインストールできなかったので、ソースからコンパイルを行った。インストール先は/usr/localとし、辞書ファイルはutf8のみとした。 ダウンロード 本体:mecab-0.98.tar.gz 辞書ファイル:ipadic-2.7.0 本体インストール # tar xvfz mecab-0.98.tar.gz # cd meca
形態素解析をする必要が出たので、PHPの『Mecab Extension』を組み込んで試してみました。 インストールは簡単で、サンプルプログラムを作って動作確認をしてみました。 『5本』が『5』と『本』に分かれてしまうのは仕方ないのか？ ****[ソース]**** <?php dl('mecab.so'); $mecab = mecab_new(); $str = '私には夢があります。ベッカム夢の夢 by 菊蔵下さいabcマートです。5本指。ABCマート。ＡＢＣマートです。123'; //名詞を格納する配列 $noun_array = array(); if ($node = mecab_sparse_tonode($mecab, $str)) { while ($node) { $node_array = mecab_node_toarray($node); //char_typeが2
形態素解析→マルコフ連鎖で文章生成のサンプル2007です。 前に書いたやつはchasenを使ってましたが、今回はYahoo!のAPIの 日本語形態素解析Webサービスを利用するサンプルコードです。 幅広い環境で使えるようにPEARのライブラリとかバージョン依存する関数とか使ってません(多分) あと、応用しやすいように冗長に書いてる部分とか、Errorチェックが抜けてる部分がありますが気にしないで下さいｗ 実行結果が見れるサンプルもおいときますね // 解析したい文章 $text = "はじめまして、こんにちは、わたしはLanタソです\nこんにちはこんにちは！！ぼくはまちちゃん！"; $text = str_replace("\n", "。", $text); //改行を適当に。にでも変換しる //API用パラメーター $params = array( 'appid' => '**
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
