3 つの戦略で Overfitting を撃退！Tensorflow v1.1 を使って CNN で MNIST に挑んだ はじめに# fast.ai の Practical Deep Learning for Coders を受けてます。week3 のテーマは overfitting. いかにして、overfitting を防いで精度を向上させるかという話。 理論のあと実際の MNIST のデータを使って精度を向上させるレクチャーがあった。 先週、ちょうど Kaggle の手書き数字認識に挑戦していたので、 今回習ったことを Kaggle に適用してみて、精度が実際どうなるか見てみました。 また、先週 tensorflow 1.1 がリリースされて、 TensorFlow から Keras の機能が使えるようになったので、 それも試してみました。 結論から書くと、1050 位から 342
［速報］Google、機械学習に最適化した「Cloud TPU」発表。「われわれれはいま、AIファーストデータセンターの構築に取りかかっている」。Google I/O 2017 Googleは5月17日（日本時間5月18日未明）から開催中の年次イベント「Google I/O 2017」にて、機械学習に最適化した第二世代のTensorFlow Processing Unit（TPU）とそれを用いたクラウドサービス「Cloud TPU」を発表しました。 われわれはいま、AIファーストデータセンターを作っている Google CEO Sundar Pichai氏。 われわれが検索事業を始めたとき、これをスケールさせるためにはそれまでの計算機のアーキテクチャを見直す必要があった。だからこそわれわれはそのためにデータセンターを最初から構築することになったのだ。 そしていま、機械学習やAIの進化はふた
パナソニックは5月10日、ディープラーニングの応用で世界最高水準の顔照合技術を開発したと発表した。 これはシンガポール国立大学との共同研究によるもので、ディープラーニングと誤りを抑制する類似度計算手法を組み合わせ、人間の目でも顔の判別が困難な左右90度近い横向きや、照明の明暗が強い屋外環境、サングラスなどで顔の一部が隠れているような状態でも顔照合可能という。 ディープラーニングの技術としては、異なる訓練を行なった2つのニューラルネットワークの相補性を探索するなどの手法が用いられており、さらに撮影環境に合わせた類似度計算を行なっている。結果はアメリカ国立標準技術研究所のベンチマークを用い、世界最高水準の顔照合性能と実現したとしている。 パナソニックでは、監視カメラに写った要注意人物の自動検出や公共施設の監視など、商用化して各種用途に活用するとしている。
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
自分の研究室は自然言語処理を扱っている研究室で、自分自身も自然言語を扱った研究をしたいと考えているのですが、 「CNNの気持ちを理解できるかな？」と思いComputer Visionで有名そうな論文を何本か読んでみたので、 日記をつける程度の感覚でものすごく簡単にまとめてみようと思います。どんな論文を読んでみようか迷っている方のお役に立ったとしたら幸いです。 初学者につき間違い等ありましたら、コメントなどでご教授いただければ幸いです。 ImageNet Classification with Deep Convolutional Neural Networks (link) おそらくこれはDeepLeaningが盛り上がり始めた頃の論文ですね。 これを読んでみた理由としては、学習に使用するデータの正規化等の方法が他の論文から多く引用されているのを発見したからです。 Local Respon
Chainer にマルチノードでの分散学習機能を追加するパッケージ ChainerMN のベータ版を公開しました。 GitHub ドキュメント ChainerMN とは ChainerMN は Chainer の追加パッケージで、Chainer を用いた学習を分散処理により高速化できます。柔軟で直感的に利用できる Chainer の利便性をそのままに、学習時間を大幅に短縮できます。1 ノード内の複数の GPU を活用することも、複数のノードを活用することもできます。既存の学習コードから数行の変更で ChainerMN を利用可能です。ChainerMN は既に社内の複数のプロジェクトで実証が行われています。 Chainer を用いた通常の学習における 1 イテレーションは下図のように Forward, Backward, Optimize の 3 つのステップからなります。 Chainer
ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基本を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に
ディープラーニングの大流行の中、様々なフレームワークが登場し、気軽にプログラミングができるようになりました。しかし、そんな中どのフレームワークを選べば良いかわからないという人も多いと思います。そんな人に少しでも参考になればと思い記事を書きます。 はじめに Chainer 特徴 柔軟な計算グラフの構築が可能 Pythonによる実装 直感的な計算グラフの構築が可能 メリット・デメリット メリット デメリット まとめ Keras 特徴 とんでもなく簡単に計算グラフを記述可能 高速計算ライブラリのディープラーニング用ラッパー もはやプログラミングの経験すら不要 メリット・デメリット メリット デメリット まとめ TensorFlow 特徴 圧倒的な利用者数 テンソル計算を行うライブラリ Define and Run 追加のライブラリが豊富 メリット・デメリット メリット デメリット まとめ PyT
人工知能やビッグデータ解析やクラウドの技術進歩によって、ロボットや機械による人間らしいヒューマンインターフェースの研究は、盛んに研究されるようになりました。 ソフトバンクのPepperをはじめとして、日本でも商業レベルでロボットに人間らしい振る舞いをさせる取り組みは今後も注目を集めそうです。 一方で、ロボットが人間の感情を理解し、表現するためには、人間の行動や表現する感情を機械が理解し、自身の記憶や他者とのかかわり合いを考慮しながら複雑なコンテキストを自力で表現することが必要不可欠になってきます。人間ですら、自分の感情を理解することが出来ないのですから、非常に難しく終わりの見えない研究のようにも思えます。 本記事では、現在の感情に関する事例や進歩を感じられる研究を紹介していきます。 表情から人間の感情を推定する技術 ロボットやコンピュータは、カメラを通して人間の表情を解析することができます
最近、fast.aiのPractical Deep Learning for CodersというMOOCを受講している。 この講座は 無料 動画形式の講義（1回2時間というボリューム） Jupyter NotebookとKerasを使用 CNN、Finetuning、VGG16、ResNet、RNNなどが実践的な例題を通して学べる 実務家がDeep Learningで自分の問題を解決できることが目標 という特徴がある。講義内容は高度で実践的なものが多い印象。例えば、Lesson1でMNISTと思いきや・・・いきなりKaggleのDogs vs. CatsをVGG16 + Finetuningで解いてKaggleに投稿するところまでが課題になっている。これさえできれば画像認識が必要ないろんな課題に同じ技術を適用できるとのこと。 今はまだPart1しかないが、ForumのなかでPart2の動画
fast.ai の Practical Deep Learning for Coders, Part1 を受けた fast.ai が提供する MOOC, “Practical Deep Learning for Coders Part1” を受けた。 Practical Deep Learning For Coders — 18 hours of lessons for free 特徴# プログラマのための実践ディープラーニング入門# この講座は、プログラマのためにある。素晴らしい理念の序文を引用したい。 The purpose of this course is to make deep learning accessible to those individuals who may or may not possess a strong background in machine le
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨今の対話システムの盛り上がりから、人とコミュニケーションを取るようなロボットを開発したい・・・！と思う方も多いのではないかと思います。 私自身、以前対話ロボットの研究開発をしていました。そこで直面したのは、LINEやTwitter上で動く対話ボットと異なり、物理で存在するロボットは音声認識の問題や、人の動きといった「対話外」の情報をどう活用するかなど、とても多くの考慮点があるということでした。 そこで、本記事ではその研究をしていく中で得た知識を展開(供養)しようと思います。これから人のパートナーとなるようなロボットの開発をする方にとっ
Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI Bayesian Deep Learning, Computer Vision, Uncertainty Understanding what a model does not know is a critical part of many machine learning systems. Unfortunately, today’s deep learning algorithms are usually unable to understand their uncertainty. These models are often taken blindly and assumed to be accurate, which is no
こんにちは，Ryobot (りょぼっと) です． 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している． 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である．ざっくり知るだけなら「メモリモデルの概説」と Memory Networks
NIPS2016でのWorkshop on Adversarial Training「How to train a GAN」での， GANを学習させるTipsのまとめ。 Workshopの動画 （30分程度で軽めなので観てみると良いと思います） www.youtube.com 以下は登壇者による↓のメモ https://github.com/soumith/ganhacks 前置き GANは現状House of cardsのようなもの． Generator，Discriminatorが上手く学習しているのかわからない 上手く言ってると思ったら突然崩壊する モデルの評価が難しい まだまだ発展途上で，今後新たなアルゴリズムや理論が登場する見込み． だが現状，以下のようなテクニックは重要と思われる． (以下のテクニックはZero scienceで単なるHackだと述べている） 1. 入力を正規化
どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には
公教育と人工知能（ＡＩ）が急接近している。小中高校の学校に眠るデータの潜在量は膨大だ。タブレット端末など教材のデジタル化に伴って、生成されるデータは増えつつある。ただ現状はデータと計算資源、ＡＩ技術者がそろっているのは民間企業に限られる。そこで注目されるのが産学連携だ。教育大学と企業の試行錯誤が始まっている。産学連携は教育ＡＩの突破口になるか。 「ポテンシャルは大きい。どうデータを集め、データ活用の理解を得るかが教育ＡＩの課題」と、文部科学省初等中等教育局の白井俊教育課程企画室長（前ＯＥＣＤ教育スキル局分析官）は説明する。 小学校の就学児童数は約６５０万人、中学校の生徒数は３４０万人で高校は３３０万人。少子化が進んでいるとはいえ毎年１００万人強が就学し授業を受ける。日本はＯＥＣＤの学習到達度調査（ＰＩＳＡ）で上位を維持し、初等中等教育は成功モデルの一つだ。世界の中でも高いレベルで均質な教育
この記事はDeep Learning Advent Calendar 2015 23日目の記事です． はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで（急遽）発表したものをまとめたものです． また，私の体力が底を尽きてるので，後日に大幅な加筆・修正します． Deep Learning Advent Calendar 21日目の記事はすいません，しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています．また，各種フレームワークの登場によって，Deep Learningの導入や実践する敷居が大幅に下がりました．このことから，Deep Learningを活用していこうと考えてる，あるいはすでに活用している企業や研究者が増えてきています． Deep Learningによって従来の手法
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
