タグ

2017年5月29日のブックマーク (20件)

  • 3 つの戦略で Overfitting を撃退!Tensorflow v1.1 を使って CNN で MNIST に挑んだ

    3 つの戦略で Overfitting を撃退!Tensorflow v1.1 を使って CNN で MNIST に挑んだ はじめに# fast.ai の Practical Deep Learning for Coders を受けてます。week3 のテーマは overfitting. いかにして、overfitting を防いで精度を向上させるかという話。 理論のあと実際の MNIST のデータを使って精度を向上させるレクチャーがあった。 先週、ちょうど Kaggle の手書き数字認識に挑戦していたので、 今回習ったことを Kaggle に適用してみて、精度が実際どうなるか見てみました。 また、先週 tensorflow 1.1 がリリースされて、 TensorFlow から Keras の機能が使えるようになったので、 それも試してみました。 結論から書くと、1050 位から 342

    3 つの戦略で Overfitting を撃退!Tensorflow v1.1 を使って CNN で MNIST に挑んだ
  • [速報]Google、機械学習に最適化した「Cloud TPU」発表。「われわれれはいま、AIファーストデータセンターの構築に取りかかっている」。Google I/O 2017

    [速報]Google機械学習に最適化した「Cloud TPU」発表。「われわれれはいま、AIファーストデータセンターの構築に取りかかっている」。Google I/O 2017 Googleは5月17日(日時間5月18日未明)から開催中の年次イベント「Google I/O 2017」にて、機械学習に最適化した第二世代のTensorFlow Processing Unit(TPU)とそれを用いたクラウドサービス「Cloud TPU」を発表しました。 われわれはいま、AIファーストデータセンターを作っている Google CEO Sundar Pichai氏。 われわれが検索事業を始めたとき、これをスケールさせるためにはそれまでの計算機のアーキテクチャを見直す必要があった。だからこそわれわれはそのためにデータセンターを最初から構築することになったのだ。 そしていま、機械学習AIの進化はふた

    [速報]Google、機械学習に最適化した「Cloud TPU」発表。「われわれれはいま、AIファーストデータセンターの構築に取りかかっている」。Google I/O 2017
  • パナソニック、ディープラーニングで世界最高水準の顔照合を実現

    パナソニックは5月10日、ディープラーニングの応用で世界最高水準の顔照合技術を開発したと発表した。 これはシンガポール国立大学との共同研究によるもので、ディープラーニングと誤りを抑制する類似度計算手法を組み合わせ、人間の目でも顔の判別が困難な左右90度近い横向きや、照明の明暗が強い屋外環境、サングラスなどで顔の一部が隠れているような状態でも顔照合可能という。 ディープラーニングの技術としては、異なる訓練を行なった2つのニューラルネットワークの相補性を探索するなどの手法が用いられており、さらに撮影環境に合わせた類似度計算を行なっている。結果はアメリカ国立標準技術研究所のベンチマークを用い、世界最高水準の顔照合性能と実現したとしている。 パナソニックでは、監視カメラに写った要注意人物の自動検出や公共施設の監視など、商用化して各種用途に活用するとしている。

    パナソニック、ディープラーニングで世界最高水準の顔照合を実現
  • わかるLSTM ~ 最近の動向と共に - Qiita

    Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2~3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日語文献はあまり見当たらない。はて、どういうことでしょうか。 記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ

    わかるLSTM ~ 最近の動向と共に - Qiita
  • 最近読んだCNN系論文ざっくりまとめ [ 画像編 ] - 電通生のにこにこ調布日記

    自分の研究室は自然言語処理を扱っている研究室で、自分自身も自然言語を扱った研究をしたいと考えているのですが、 「CNNの気持ちを理解できるかな?」と思いComputer Visionで有名そうな論文を何か読んでみたので、 日記をつける程度の感覚でものすごく簡単にまとめてみようと思います。どんな論文を読んでみようか迷っている方のお役に立ったとしたら幸いです。 初学者につき間違い等ありましたら、コメントなどでご教授いただければ幸いです。 ImageNet Classification with Deep Convolutional Neural Networks (link) おそらくこれはDeepLeaningが盛り上がり始めた頃の論文ですね。 これを読んでみた理由としては、学習に使用するデータの正規化等の方法が他の論文から多く引用されているのを発見したからです。 Local Respon

    最近読んだCNN系論文ざっくりまとめ [ 画像編 ] - 電通生のにこにこ調布日記
  • 分散深層学習パッケージ ChainerMN 公開 - Preferred Networks Research & Development

    Chainer にマルチノードでの分散学習機能を追加するパッケージ ChainerMN のベータ版を公開しました。 GitHub ドキュメント ChainerMN とは ChainerMN は Chainer の追加パッケージで、Chainer を用いた学習を分散処理により高速化できます。柔軟で直感的に利用できる Chainer の利便性をそのままに、学習時間を大幅に短縮できます。1 ノード内の複数の GPU を活用することも、複数のノードを活用することもできます。既存の学習コードから数行の変更で ChainerMN を利用可能です。ChainerMN は既に社内の複数のプロジェクトで実証が行われています。 Chainer を用いた通常の学習における 1 イテレーションは下図のように Forward, Backward, Optimize の 3 つのステップからなります。 Chainer

  • 今更聞けないLSTMの基本 - HELLO CYBERNETICS

    ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に

    今更聞けないLSTMの基本 - HELLO CYBERNETICS
  • 【PyTorch、Chainer、Keras、TensorFlow】ディープラーニングのフレームワークの利点・欠点【2017年10月更新】 - HELLO CYBERNETICS

    ディープラーニングの大流行の中、様々なフレームワークが登場し、気軽にプログラミングができるようになりました。しかし、そんな中どのフレームワークを選べば良いかわからないという人も多いと思います。そんな人に少しでも参考になればと思い記事を書きます。 はじめに Chainer 特徴 柔軟な計算グラフの構築が可能 Pythonによる実装 直感的な計算グラフの構築が可能 メリット・デメリット メリット デメリット まとめ Keras 特徴 とんでもなく簡単に計算グラフを記述可能 高速計算ライブラリのディープラーニング用ラッパー もはやプログラミングの経験すら不要 メリット・デメリット メリット デメリット まとめ TensorFlow 特徴 圧倒的な利用者数 テンソル計算を行うライブラリ Define and Run 追加のライブラリが豊富 メリット・デメリット メリット デメリット まとめ PyT

    【PyTorch、Chainer、Keras、TensorFlow】ディープラーニングのフレームワークの利点・欠点【2017年10月更新】 - HELLO CYBERNETICS
  • Pythonによる機械学習入門〜基礎からDeep Learningまで〜

    2. ⾃⼰紹介 l 経歴 Ø 2012年 京都⼤学⼤学院 情報学研究科 博⼠後期課程修了 Ø 2012年 京都⼤学 学術情報メディアセンター 特定研究員 Ø 2014年 名古屋⼤学 未来社会創造機構 特任助教 Ø 2015年 名古屋⼤学 情報科学研究科 助教 l 研究テーマ Ø ⼈物画像処理 ²⼈物検出 ²⼈物追跡 ²⼈物検索 ²⼈物照合 ²歩⾏者属性認識 Ø 背景画像推定 2 ← PRMUでサーベイ発表しています ← PRMUでサーベイ発表しています ← Pythonを使用 ← 一部Pythonを使用 ← 一部Pythonを使用

    Pythonによる機械学習入門〜基礎からDeep Learningまで〜
  • 現状のAIは人間の感情にどこまで踏み込めているのか

    人工知能やビッグデータ解析やクラウドの技術進歩によって、ロボットや機械による人間らしいヒューマンインターフェースの研究は、盛んに研究されるようになりました。 ソフトバンクのPepperをはじめとして、日でも商業レベルでロボットに人間らしい振る舞いをさせる取り組みは今後も注目を集めそうです。 一方で、ロボットが人間の感情を理解し、表現するためには、人間の行動や表現する感情を機械が理解し、自身の記憶や他者とのかかわり合いを考慮しながら複雑なコンテキストを自力で表現することが必要不可欠になってきます。人間ですら、自分の感情を理解することが出来ないのですから、非常に難しく終わりの見えない研究のようにも思えます。 記事では、現在の感情に関する事例や進歩を感じられる研究を紹介していきます。 表情から人間の感情を推定する技術 ロボットやコンピュータは、カメラを通して人間の表情を解析することができます

    現状のAIは人間の感情にどこまで踏み込めているのか
  • Practical Deep Learning for Coders - 人工知能に関する断創録

    最近、fast.aiのPractical Deep Learning for CodersというMOOCを受講している。 この講座は 無料 動画形式の講義(1回2時間というボリューム) Jupyter NotebookとKerasを使用 CNN、Finetuning、VGG16、ResNet、RNNなどが実践的な例題を通して学べる 実務家がDeep Learningで自分の問題を解決できることが目標 という特徴がある。講義内容は高度で実践的なものが多い印象。例えば、Lesson1でMNISTと思いきや・・・いきなりKaggleのDogs vs. CatsをVGG16 + Finetuningで解いてKaggleに投稿するところまでが課題になっている。これさえできれば画像認識が必要ないろんな課題に同じ技術を適用できるとのこと。 今はまだPart1しかないが、ForumのなかでPart2の動画

    Practical Deep Learning for Coders - 人工知能に関する断創録
  • fast.ai の Practical Deep Learning for Coders, Part1 を受けた

    fast.ai の Practical Deep Learning for Coders, Part1 を受けた fast.ai が提供する MOOC, “Practical Deep Learning for Coders Part1” を受けた。 Practical Deep Learning For Coders — 18 hours of lessons for free 特徴# プログラマのための実践ディープラーニング入門# この講座は、プログラマのためにある。素晴らしい理念の序文を引用したい。 The purpose of this course is to make deep learning accessible to those individuals who may or may not possess a strong background in machine le

    fast.ai の Practical Deep Learning for Coders, Part1 を受けた
  • 人と対話するロボットを開発するための、研究ガイド - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨今の対話システムの盛り上がりから、人とコミュニケーションを取るようなロボットを開発したい・・・!と思う方も多いのではないかと思います。 私自身、以前対話ロボットの研究開発をしていました。そこで直面したのは、LINETwitter上で動く対話ボットと異なり、物理で存在するロボットは音声認識の問題や、人の動きといった「対話外」の情報をどう活用するかなど、とても多くの考慮点があるということでした。 そこで、記事ではその研究をしていく中で得た知識を展開(供養)しようと思います。これから人のパートナーとなるようなロボットの開発をする方にとっ

    人と対話するロボットを開発するための、研究ガイド - Qiita
  • 長文日記

    長文日記
  • Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI

    Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI Bayesian Deep Learning, Computer Vision, Uncertainty Understanding what a model does not know is a critical part of many machine learning systems. Unfortunately, today’s deep learning algorithms are usually unable to understand their uncertainty. These models are often taken blindly and assumed to be accurate, which is no

    Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI
  • 論文解説 Memory Networks - ディープラーニングブログ

    こんにちは,Ryobot (りょぼっと) です. 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである. 稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し,論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している. 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である.ざっくり知るだけなら「メモリモデルの概説」と Memory Networks

    論文解説 Memory Networks - ディープラーニングブログ
  • "How to Train a GAN" at NIPS2016 workshopのメモ - 緑茶思考ブログ

    NIPS2016でのWorkshop on Adversarial Training「How to train a GAN」での, GANを学習させるTipsのまとめ。 Workshopの動画 (30分程度で軽めなので観てみると良いと思います) www.youtube.com 以下は登壇者による↓のメモ https://github.com/soumith/ganhacks 前置き GANは現状House of cardsのようなもの. Generator,Discriminatorが上手く学習しているのかわからない 上手く言ってると思ったら突然崩壊する モデルの評価が難しい まだまだ発展途上で,今後新たなアルゴリズムや理論が登場する見込み. だが現状,以下のようなテクニックは重要と思われる. (以下のテクニックはZero scienceで単なるHackだと述べている) 1. 入力を正規化

  • 因果関係がないのに相関関係があらわれる4つのケースをまとめてみたよ(質問テンプレート付き) - Take a Risk:林岳彦の研究メモ

    どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学(様相論理)へと語る流れ(ここのスライド前半参照)になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準(ここのスライド後半参照)の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが(予告)、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

    因果関係がないのに相関関係があらわれる4つのケースをまとめてみたよ(質問テンプレート付き) - Take a Risk:林岳彦の研究メモ
  • 「生きる力」は伸ばせるか。教育×AIの挑戦 ニュースイッチ by 日刊工業新聞社

    教育人工知能(AI)が急接近している。小中高校の学校に眠るデータの潜在量は膨大だ。タブレット端末など教材のデジタル化に伴って、生成されるデータは増えつつある。ただ現状はデータと計算資源、AI技術者がそろっているのは民間企業に限られる。そこで注目されるのが産学連携だ。教育大学と企業の試行錯誤が始まっている。産学連携は教育AIの突破口になるか。 「ポテンシャルは大きい。どうデータを集め、データ活用の理解を得るかが教育AIの課題」と、文部科学省初等中等教育局の白井俊教育課程企画室長(前OECD教育スキル局分析官)は説明する。 小学校の就学児童数は約650万人、中学校の生徒数は340万人で高校は330万人。少子化が進んでいるとはいえ毎年100万人強が就学し授業を受ける。日はOECDの学習到達度調査(PISA)で上位を維持し、初等中等教育は成功モデルの一つだ。世界の中でも高いレベルで均質な教育

    「生きる力」は伸ばせるか。教育×AIの挑戦 ニュースイッチ by 日刊工業新聞社
  • Deep Learningのハイパパラメータの調整 - もちもちしている

    この記事はDeep Learning Advent Calendar 2015 23日目の記事です. はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで(急遽)発表したものをまとめたものです. また,私の体力が底を尽きてるので,後日に大幅な加筆・修正します. Deep Learning Advent Calendar 21日目の記事はすいません,しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています.また,各種フレームワークの登場によって,Deep Learningの導入や実践する敷居が大幅に下がりました.このことから,Deep Learningを活用していこうと考えてる,あるいはすでに活用している企業や研究者が増えてきています. Deep Learningによって従来の手法

    Deep Learningのハイパパラメータの調整 - もちもちしている