CNTKとは Microsoft Research が提供する、深層学習(Deep Learning)用のツールキットです https://www.cntk.ai/ https://github.com/Microsoft/CNTK ILSVRC2015 で優勝した Microsoft Research が使っているものです Tensor Flow とか、Caffeとか、Chainer と同様のライブラリ/フレームワークと言えます 単一サーバ複数GPUや、複数サーバ複数GPUによる分散学習のパフォーマンスが抜群に良いです https://github.com/Microsoft/CNTK/wiki/Multiple-GPUs-and-machines 分散学習はMPI(mpiexec/smpd.exe)を用いて行われます 訓練により作成した分析モデルは、C++/C#経由で利用することができ
低火力ディープラーニングにつきまとう問題として第一にGPUのメモリ問題がある。 個人で用意できるレベルのハードではとにかく足りない。 以下言語モデル構築の話。 wikipediaの1/50コーパスをneologdで分かち書きしたときに語彙は25万ぐらい。 これを全部語彙として採用してChainerのEmbedに投げると6G~8GクラスのGPUだとメモリ不足で学習できない。 なので低頻度語として一部を切り捨てる必要がある。 仮に10万を語彙として採用し、それ以外の15万は低頻度として切り捨ててそれらを「低頻度単語(<低頻度>)」としてEmbedに専用のIDを一つ付与して学習すると、文出力の時にこうなる。 これによって<低頻度>の<低頻度>な<低頻度>を<低頻度>、<低頻度>の<低頻度>に<低頻度>をつけた。 おぉ…。 一つ一つは低頻度でも、ちりも積もればエベレストに。 普通の名詞や動詞が全く
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
