平均年齢と年収の辞書データ 企業別の平均年齢と年収のデータをネットで探していたのですが、リストとしてまとまっているものが無かったので作成しました。以前作成した業種別企業名辞書の企業コードを基にYahoo!ファイナンスから平均年齢と年収のデータを引き当てます。当然ですが、Yahoo!ファイナンス様のサーバ負荷が高まらないように引当時にはsleepを入れるという優しさを忘れてはイケません。 ※下で公開しているデータの利用は全て自己責任でお願い致します。 業種別企業名辞書データを公開しました - Yuta.Kikuchiの日記 Yahoo!ファイナンス - 株価やニュース、企業情報などを配信する投資・マネーの総合サイト 平均年齢と年収データ DataFormat [業種名] 企業Code \t 上場市場 \t 企業名 \t 平均年齢 \t 平均年収 Github 全データは以下のURLにまとめて
Last modified: 2006.07.29 02:24:34 JST 評価値表現辞書のダウンロード 2006年7月現在，辞書の規模は約5,200表現です． 品詞付き辞書 (evaldic_ver1.01+POS.tgz) 品詞なし辞書 (evaldic_ver1.01.tgz) 両方 (evaldic_ver1.01_b.tgz) 間違い，質問，コメントなどは nozomi-k AT syncha.org までお願いいたします．
2. 日本語評価極性辞書（名詞編） 評価極性を持つ（複合）名詞，約8千5百表現に対して評価極性情報を付与した，人手によるチェック済みのデータ．名詞の評価極性は概ね以下の基準に従う（東山, 2008）． 〜である・になる（評価・感情）主観 「○○が〜である・〜になる」ことは，○○をP/Nと評価しているか？ ポジティブ：誠実，安寧，親切，中立，名手，英雄，第一人者，幸せ ネガティブ：弱気，鬱 〜である・になる（状態）客観 「〜（という状態）になる」ことは良いことか悪いことか？ ポジティブ： ネガティブ：ガン 〜い（評価・感情）主観 「〜い」は良いか悪いか？ ポジティブ：美しさ ネガティブ：弱さ 〜する（感情）主観 「〜する」は良い感情か，悪い感情か？ ポジティブ：感嘆 ネガティブ：失望 〜する（出来事） 「〜する」ことは嬉しいことか嫌なことか？ ポジティブ：
概要 ウェブページに出現する形態素 N-gram と文字 N-gram を頻度とともに収録したコーパスです．各 N-gram コーパスには，頻度 10/100/1000 以上の 1-gram から 7-gram までが収録されています． N-gram コーパスの構築においては，Google N-gram コーパスと同様の前処理を施しています．句点・感嘆符・疑問符を文の区切りとして利用しているので，「モーニング娘。」や「Yahoo!」などの固有名詞については，不適切な文の区切りがおこなわれています．また，文の区切りは削除するようになっているため，コーパス中に句点・感嘆符・疑問符は出現しません． 形態素 N-gram コーパス，文字 N-gram コーパスともに，文境界マーク（<S>，</S>）は採用していますが，未知語トークン（<UNK>）は採用していません．また，文字 N-gram コーパ
データ http://dl.dropbox.com/u/2996612/idf.txt.bz2 集計条件 品詞は細分類を無視 文書数はタイトルの行数とし、空の文書*1でもカウントを行っている*2 定義式 ： 単語のIDF値 ： 総文書数 ： 単語が出現する文書の総数 文書数、異なり単語数 総ドキュメント数 123,7429 単語異なり数 216,9308 データ形式と例 タブ区切り データ例 形態素 品詞 idf値 あいぞう 名詞 6.09252 あいぞめ 名詞 5.01334 あいた 感動詞 4.58737 あいたい 名詞 4.46927 あいだ 名詞 2.82231 *1:WP2TXTの変換によって本文がなくなる場合がある *2:めんどくさかったので・・・ データ 1-gram http://dl.dropbox.com/u/2996612/1gram.bz2 2-gram http:
概要 本記事はWikipediaのダウンロード可能なデータについてまとめたものです。 Wikipediaではクロール行為は禁止されています（ここを見る限りでは）が、代わりに全記事の情報を圧縮したファイルが公開されています。 日本のWikipedia情報ダウンロードページ http://download.wikimedia.org/jawiki/latest/ 本記事は2009年の10月下旬に取得した情報を元に書いています。時間が経つと結果が変わる可能性があるのでご注意ください。 事前情報 2009/10/25に確認した時点では、日本語Wikipediaのダウンロードページには55個のファイルが置いてありました（うち半分は更新を通知する為のRSS）。 ファイルの形式は「XML」、「MySQLのダンプ」、「テキスト」などがあります。 詳しいデータのインポート方法は、こちらのリンク集が参考になる
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
../ 20240820/ 01-Oct-2024 09:26 - 20240901/ 20-Oct-2024 09:29 - 20240920/ 06-Nov-2024 09:27 - 20241001/ 20-Nov-2024 09:28 - 20241020/ 01-Dec-2024 09:26 - 20241101/ 10-Nov-2024 13:47 - 20241120/ 03-Dec-2024 03:18 - 20241201/ 08-Dec-2024 14:18 - latest/ 08-Dec-2024 14:18 -
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
