"Fast Modularity" Community Structure Inference Algorithm This page documents and supports the fast modularity maximization algorithm I developed jointly with Mark Newman and Cristopher Moore. This algorithm is being widely used in the community of complex network researchers, and was originally designed for the express purpose of analyzing the community structure of extremely large networks (i.e.
以下サイトでTwitterのソーシャルグラフが配布されている。 # 103万人分、2.8億エッジという驚愕の規模 http://d.hatena.ne.jp/code46/20110130/p1 今回、このデータを題材としたコミュニティ抽出のプログラムを書いたので、開発過程のいろいろをまとめておく。 一部、Amazon Elastic MapReduceでの分散処理などもやってみたので、MapReduceやCloudに興味を持つ人にも利益があるかもしれない。特に、実アプリ開発を題材とした事例紹介はWeb上でも少ないようなので、そういった位置づけでは価値があるのではないかと思う。 ソーシャルグラフ、コミュニティ抽出(≒クラスタリング?)の概要については以下が分かりやすい。 http://www.slideshare.net/komiyaatsushi/newman-6670300 実は、以前
昨今よく耳にするキーワード「ソーシャルグラフ」。その可能性・活用方法について様々な企業に注目されています。今回はその「ソーシャルグラフ」を「どうすればクラスタリングできるのか？」という観点で、グラフに対するクラスタリングの基礎を説明いたします。また、具体的なクラスタリング手法として Newman アルゴリズムをご紹介いたします。Read less
【Gavotte RAMDisk】Windows 7 Ultimate 32bit版でSSDより10倍以上高速なRAMディスクを作成・運用 Windows XP/VISTA/7の32bit版は3GB以上のメモリを使えない仕様になっています。 仮に8GBのメモリを積んでいても32bit版のOSだと5GBを無駄にしてしまいます。 そこでこのOSのメモリとして使えない領域をRAMディスク領域として使います。 今回使用するGavotte RAMDisk以外にも IOデータが提供しているRamPhantom等のソフトウェアがありますので、いろいろ試してみるのもいいと思います。 Gavotte RAMDiskはユーザ数が比較的多いため、WEBでの情報収集がしやすいといった利点があります。 ◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇ RAMディスクを使用するに当たって注意
ファイルからデータを読み込んでグラフを表示する JUNGはPageRankや中心性の計算やクラスタリングとかにも使えるJavaのグラフ構造ライブラリなのだが、日本語のまとまった解説文書がTECHSCOREくらいにしか見当たらない。でもTECHSCOREの解説を見れば大体使えたりする。使い方が変更されているメソッドや非推奨になったクラスもたまにあるが、JavaDocを見ればだいたい解決する。 ということで、相関行列を読み込んで、有意な関係をグラフ化するものをJUNGを使って作ってみようと思う。そのために、SourceForgeからJUNGのJARファイルをダウンロードし、依存ライブラリであるCommons CollectionとCern Colt(行列計算ライブラリ)をビルドパスに含める。 まず相関行列のデータが必要なので、アイスクリーム統計学のデータから作成した。Excelファイルをダウン
Jungを使おうと思ってダウンロードページを見てみる。 http://jung.sourceforge.net/download.html 三つのライブラリが必要とのこと。 ・JDK5以上 ・Collections-Generic ・Cern Colt 三つのライブラリをEclipseプロジェクトに置いてビルドパスを通しておく。 そして、Sourceforgeから Jung2.0.1を持ってくる。 jung-samples-2.0.1.jarの中なんとかDemoクラスのmainメソッドを実行すると デモを見ることができる。個人的にはClusteringDemoが面白かった。 ↑媒介性の高い辺を順に取り去っていってクラスタリングできる さて、以下１からコードを書いてみる。 Jung 2からは Graphクラスは Graph<V, E>てな感じでVertexとEdgeのクラスを 指定できるよう
ゼミで半教師あり学習のことを発表したのでスライドを公開します - yasuhisa's blog この次の回だったので彼からの圧力などもありましたが、正直理解が不十分過ぎるので死ぬ。 何の話か 一年ぐらい前、twitterを題材に色々クラスタリングをやってみようと思い立ったあたりから、コミュニティ検出に京味があったのでその話をした。 基本的にはNewmanの論文(Mark Newman: Publications)を前からちまちま見ていく感じ。 自分の先生は機械学習、とりわけSVMやらNNが好きなのでこういう話には疎い。図書館情報とかに行けば専門の先生がいるっぽい。 モチベーション 人と人、論文と著者、都市と都市などが結ばれたネットワークからコミュニティを抽出したい。コミュニティ検出の指標・らしさは Modurality で判別する。このQが何故指標と成り得るのか、凸関数で単峰性なのかは[
Two C++ codes, the original and an updated versions, are freely available for download. More information can be found in the readme file included in both distributions and here. A preliminary matlab version can be obtained on demand. Details about our method can be found here. This project has been developed by Vincent Blondel, Jean-Loup Guillaume, Renaud Lambiotte, and Etienne Lefebvre Using the
The Twitter Project Page at MPI-SWS Welcome to our Twitter project page. The data used in our ICWSM'2010 paper is available for use by the wider community. Based on Twitter's explicit request, we are only sharing the anonymized topology of the Twitter social network. Please understand that we are not allowed to share any tweet information. If you have any questions please send us an email at
ANLAB Traces What is Twitter, a Social Network or a News Media? (WWW2010) Mining communities in networks: a solution for consistency and its evaluation (IMC2009) Consistent Community Identification in Very Large Networks (MICNET2009) Evaluation of VoIP Quality over WiBro (PAM2008) I Tube, You Tube, Everybody Tubes (IMC2007) Analysis of Topological Characteristics of Huge Online Social Networking S
twitter日本語ユーザー100万人分のフォローイングとプロフィールのダンプを作成しました。 レコメンデーションの実験や分析に使えるかもしれません。 プロフィール： 108万人分のスクリーンネームや自己紹介文 フォローイング： 103万人分のフォローイング先ID一覧です。 展開すると300万ノード 2.8億エッジになります。（※被フォローエッジを含みません） 以下のURLからダウンロードできます 今回はMongoDBをストレージにしました。ダンプの利用にはMongoDBのインストールが必要となります。 https://github.com/penguinco/yats-socialgraph-dump 使い方： $ git clone git://github.com/penguinco/yats-socialgraph-dump.git $ cd yats-socialgraph-du
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
