ソーシャルゲームログ解析基盤のMongoDB活用事例
•Download as KEY, PDF•
17 likes•4,864 views
【エンジニアカフェEvent×gumiStudy】ソーシャルゲームの解析を支える技術-MongoDB編- https://www.facebook.com/event.php?eid=295541553794432 の発表資料です。
ソーシャルゲームログ解析基盤のMongoDB活用事例
- 1. ソーシャルゲームログ解析の MongoDB活用事例 ∼gumiさん、MongoDB始めました∼ 1
- 2. アジェンダ 1. 自己紹介 2. ログ解析に至った経緯 3. 現在のMongoDB活用状況 4. MongoDBを使ってみて 2
- 3. 自己紹介 名前:本間 知教（ほんま とものり） Twitter:@CkReal gumi歴1ヶ月半 前職は国内某ITコンサルティング会社 入社前の想定 現実 MySQL fluentd Python MongoDB Django Hadoop 3
- 4. ログ解析に至った経緯 4
- 5. これまでのgumi ユーザの行動詳細が見えない ユーザがどの段階で、ゲームをやめたのか？ 何故、あのイベントが好まれたのか？ ゲーム 開発 ゲームユーザー ゲーム開発者 ？5
- 6. これまでのgumi ゲームごとの各サーバに蓄積されているログ アクセスログとアクションログが、各サーバに散在 サーバ障害発生時、各ログはロストorz APサーバ APサーバ NFSサーバ アクセスログ ・・・ アクセスログ アクションログ 各サーバごとに調査 ゲーム開発者 6
- 7. ログ解析システムの対象者 社内のあらゆる視点で必要な指標を提供する カスタマーサポート ゲーム開発者 経営陣 ユーザごとの ユーザが各イベントで どのゲームに経営資源を 詳細な行動結果の把握 楽しめているかを把握 投入すべきかの判断材料 ミクロ マクロ 7
- 8. ログ解析システムの構想 解析用途を分け、2経路からログの解析を行う。 ログ解析システム リアルタイム転送 バッチ転送(第2回) 収集 解析 fluentd 選別 ユーザに必要なアプローチを行う ゲームユーザー ゲーム関係者 8
- 9. 現在のMongoDB活用状況 9
- 10. MongoDB採用の経緯 解析に必要なログを突っ込めるストレージDB 挿入・検索速度＞信頼性 データ設計が柔軟に行えるDB 豊富な日本語資料 国内でも増えつつある構築事例 MongoDB JPの方々に感謝（次回は11月15日開催） 最近、@doryokujinさんのアイコンを見ると、拝みたくなります。 10
- 11. 現在のシステム構成 まずはアクセスログのリアルタイム転送を構築 1ゲームのアクセスログだけで、約1,000万件/日 APAP AP APサーバ ログ収集サーバ ログ解析DBサーバ サーバ サーバ d サーバ fluentd fluentd mongos mongod(PRIMARY) アクセスログ ログ解析DBサーバ アクションログ config mongod(SECONDARY) ログ収集サーバ ログ解析DBサーバ fluentd mongos mongod(SECONDARY) config ReplicaSets & Sharding NFSサーバ アクション集約ログ 新規構築フロー 既存フロー 11
- 12. 現在のサーバスペック AWS上に、以下の構成で構築 サーバ OS SW APサーバ(c1.xlarge)×19台 CentOS 5.6 fluentd 0.10.1 fluentd 0.10.1 ログ収集サーバ（c1.xlarge）×2台 CentOS 6.0 MongoDB 2.0 ログ解析DBサーバ（m1.xlarge）×3台 CentOS 6.0 MongoDB 2.0 ハイ CPU エクストララージ インスタンス エクストララージ インスタンス 7 GB メモリ 15 GB メモリ 20 ECU（2.5 ECU × 8仮想コア） 8 ECU（2 ECU × 4仮想コア） 1690 GB インスタンスストレージ 1,690 GB インスタンスストレージ 64ビット プラットフォーム 64ビット プラットフォーム I/O 性能: 高速 I/O 性能: 高速 API 名: c1.xlarge API 名: m1.xlarge 12
- 13. 現在のSharding構成 Sharding設計 ログ種別（データベース）単位でShardingを行なっている ログ形式が定まっていないため、コレクション単位のShardingは未定 Shard1 Shard2 アクセスログ(データベース) アクションログ(データベース) −アプリA −日付：YYYY-MM-DD −アプリB 13
- 15. MongoDBを使ってみて 15
- 16. MongoDBを構築してみて インストールが簡単 yum installで一発。Oracleェ… ReplicaSetの追加・削除が簡単 Sharding環境でも、mongosが自動で更新してくれる。 Shardingは、構築しないとわからない。 db.runCommand( { enablesharding : "【データベース名】" } )を忘れないように… 16
- 17. MongoDBを運用し始めてみて 対話シェルのUIが運用者に優しい どこで作業しているかがわかりやすい。 例）mongos>db.printShardingStatus() PRIMARY>rs.status() MongoDBのクエリが豊富 豊富すぎて、使いこなせてない＞＜ 運用トラブルの不安 mongosが落ちる？Shardingが止まらない？監視方法は？ 17
- 18. .......でも、MongoDB JPがあるから、 きっと大丈夫(*´ω｀*) 18
- 19. ご清聴ありがとうございました。 19