はじめに こんにちは、Speeeでデータサイエンティストをしている@To_Murakamiと申します。エンジニアではないのですが、コーディングを含めた分析例を発信しようと思い、企業のAdvent Calendarに参加させていただきました。 12月も暮れに差し掛かってきましたね。本日は、Word2Vec(ワードトゥベック)という自然言語処理を活用した分析例を紹介します。 このロジックを実装した目的は、ことばの表記ゆれ（類義語）発見器みたいなのを作ってみたいと思ったからです。なぜ、Word2Vecからことばの表記ゆれが分かるのでしょうか？仕組みの概要（下記）が分かると、理由を理解できます。 Word2Vecの仕組み（簡単に） Word2Vecとは言葉通り、単語をベクトル化したものです。ベクトル化した中身には当然数字が入ります。つまり、単語という言語データを数値化することができるのです！ 数値
自然言語処理の入門、wikipedia全文データを使ってみる こんにちは。 AI coordinatorの清水秀樹です。 自然言語処理について何から勉強を始めようかと色々模索していたところ、wikipediaの日本語全文データをダウンロードできることを知り、早速それが使えそうなところから初めてみることにしました。 なんでもWord2Vecとかいうライブラリーを使用すると、単語の意味をベクトルで表現できるらしく、関連する単語や類似度を調べることができるようになるとのこと。 ちょうどデータ量として申し分ないwikipedia日本語全文データも使えることも分かったので、早速それらを組み合わせて勉強してみることにしました。 当記事はその内容の紹介になります。 純粋 – 正義 + 悪 = 邪悪 みたいなことができるようになります。 興味がある方は参考にしてみてください。 開発環境 macOS Sie
今回やること 前回の記事で、RNNを使って文字レベルの言語モデルを実装しました。 シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム 英語を対象にしたので入出力の次元は26文字+スペースの27次元で済んだのですが、単語レベルの言語モデルを実装しようとすると次元は非常大きなものになってしまいます。 それを解決するのが皆さんご存知word2vecで、TensorFlowではword2vecが簡単に利用できるような機能が提供されているようなので、今回はそれを試してみたいと思います。 実装には、以下のコードを大いに参考にしています。 tensorflow/word2vec_basic.py at master · tensorflow/tensorflow · GitHub 目次 今回やること 目次 コードの場所 word2vecの基礎知識 コ
2016-08-27自然言語処理Python, Word2Vec ちょっと前から、自然言語処理分野を騒がせている「Word2Vec」という手法があります。これは、文章(単語の羅列)から単語の前後関係やらを用いて、単語のベクトルを学習しようと言うものです(たぶん)。 このベクトルというのが面白いもので、ベクトル間の距離が小さ(内積が大き)ければ、その二つの言葉は近い存在(ex. 犬と猫 や JPGとPNG など)ということになります。さらに、ベクトルであるがゆえに、それらの足し算・引き算ができます。このことが意味するのは･･･。 突然ですが、あなたは以下の式の「？」には何が当てはまると思いますか？ 王様 – 男性 + 女性 = ? 初見では、いまいちパッとこないかもしれませんが、この式が一番有名な例となっております。で、この式は「女王」がいい感じに当てはまるはずです。おまけに、もう一つ例を挙
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の
皆さん、Word2vec の仕組みはご存知ですか？ Word2vec は gensim や TensorFlow で簡単に試せるので使ったことのある方は多いと思います。しかし、仕組みまで理解している方はそう多くないのではないでしょうか。そもそも本家の論文でも内部の詳細については詳しく解説しておらず、解説論文が書かれているくらいです。 本記事では Word2vec のモデルの一つである Skip-Gram について絵を用いて説明し、概要を理解することを目指します。まずは Skip-Gram がどのようなモデルなのかについて説明します。 ※ 対象読者はニューラルネットワークの基礎を理解しているものとします。 どのようなモデルなのか？ Skip-Gram はニューラルネットワークのモデルの一つです。Skip-Gram は２層のニューラルネットワークであり隠れ層は一つだけです。隣接する層のユニット
前回、青空文庫で word2vec を試してみましたが、結果を見ての通り、作家によって類似する単語が違ったり、そもそも語彙が少ないため、あまり汎用性のある結果を得ることはできませんでした。 ksksksks2.hatenadiary.jp そこで今回は、日本語 Wikipedia のダンプデータを使用して、word2vec で学習させてみました。 Wikipedia ではこちらに記載されているように、Wikipedia 上で作成された様々なデータのダンプデータを配布しています。主なものだと、全ページの要約や全文、変わったものだと、ページ間のリンク関係のデータなどが含まれています。 今回は、日本語の最新情報から全文情報を取得して、使用しました。ちなみに、このデータは圧縮時でも2GB、展開すると10GB近くあるデータになります。このデータは XML と wiki 記法で記述されておりそのままで
paragraph2vecの論文 要訳 (Distributed Representations of Sentences and Documents)自然言語処理機械学習word2vecparagraph2Vec論文読み 原文: Distributed Representations of Sentences and Documents 要訳者からのお知らせ この要訳はTSGの機械学習分科会での発表のために作られたものです。 雑に内容を理解するためのまとめであり、正確な内容を保証するものではありません。 致命的なミスはコメントか編集リクエストでお知らせください Abstract 機械学習するには入力を固定長のベクトルにする必要がある 既存手法で一番popularなのはbag-of-words だけどBOWはクソ 順序の情報が失われる 単語間のセマンティクスが失われる なので Paragr
3. word2vec a1 a2 a3 a4 a5 Continuous Bag–of–Words 周囲の単語から中心の単語を予測する Skip-Gram 中心の単語から周囲の単語を予測する • 2014年にGoogleより発表され、性能の高さから瞬く間に世界中に広がった • 文中で連続する5つの単語（シーケンス）をベースに、2つのアルゴリズムで実装 ベースは2つのアルゴリズムで構成 ・・・ ・・・ 3 4. word2vec-注目すべきデータ構造 • 右図は２００次元のベクトルを特別に２次 元にプロットしたもの • 「中国＋北京」のベクトルが「ロシア＋モ スクワ」及びその他の国＋首都のベクトル とかなり近い • その他、「王様ー男＋女＝女王」といった 演算ができる • つまり、ベクトル化さえすれば、広い範囲 の処理が可能に！ • 前述の処理により、単語を任意の次元ベクトルに変換（100
fastTextとは何なのか 自然言語処理の学習を高速化するツール これまで５日かかっていたタスクがたったの１０秒で終了 fastTextで取り組める３つのこと fastTextで出来る３つの全体像 Facebookはニュースフィードから釣り見出しを排除するためにfastTextをつくった？ リクルートテクノロジーズでは、レコメンドに応用 サイバーエージェントが実用化したAWAでのアーティストレコメンド Yahoo!はレシートメールの文章から製品をオススメする ◯2Vecを考えれば推薦に応用できる fastTextを安全に使うために必要な理論 単語をベクトル表現化するWord2Vec ベクトル表現を構築するアーキテクチャ CBoW Skip-gram fastTextを使ってみよう fastTextをインストールする 単語のベクトル表現を構築しよう Tweetデータの収集 単語のベクトル表
HirofumiYashima-no-MacBook:doc2vec_amended hirofumiyashima$ python Python 3.5.2 (default, Jul 23 2016, 14:25:12) [GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> >>> import gensim >>> >>> sentences = [ ... ['human', 'interface', 'computer'], #0 ... ['survey', 'user', 'computer', 'system', 'response', 'time
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
環境 OS X El Capitan 10.11.5 MacBook Pro (Retina 13-inch、Early 2015) [2016/8/1現在] MeCab, mecab-ipadic-NEologd のインストール MeCabはオープンソースの日本語形態素解析ソフトです。 mecab-ipadic-neologdは、Web上のリソースから新しい言葉を登録したMecab用の辞書のことです。さらに、定期的に新しい言葉をアップデートするので、最新の言葉を正しく形態素解析をすることができます。 必要なライブラリをインストール brew install mecab mecab-ipadic git curl xz git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadi
2015/06/10 IVS CTO NightのLTで発表したプレゼン資料です。 word2vecにmamariQ内のテキストを使用してみました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
