もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと
Building High-level Features Using Large Scale Unsupervised Learning
What are Diffusion Models? 本記事はWhat are diffusion Models?を許可を得て翻訳したものです。Diffusion Modelの日本語の記事がまったくなかったので勉強がてら、翻訳してみました。誤訳や誤植などありましたらお知らせください。 Diffusion modelはとても新しいタイプの生成モデルで、どのような複雑なデータ分布でも学習することができ、なおかつその分布を解析的に評価することができます。 近年ではDiffusion modelは高精度な画像を生成でき、GANでSOTAなモデルより高い精度を達成しています。 これまでGAN、VAE、Flowといった生成モデルについての記事を書いてきました。どれも高いクオリティの画像を生成できますが、一方でそれぞれ個々の問題を抱えていました。GANは敵対的学習の構造そのものに、学習の不安定さと多様性
Reinforcement Learning: An Introduction Richard S. Sutton and Andrew G. Barto Second Edition (see here for the first edition) MIT Press, Cambridge, MA, 2018 Buy from Amazon Errata and Notes Full Pdf Without Margins Code Solutions -- send in your solutions for a chapter, get the official ones back (currently incomplete) Slides and Other Teaching Aids Links to pdfs of the literature sources cited i
Batch Normalization 解決したい問題 - Internal Covariate Shift まず、Batch Normalizationで解決したい問題から説明したいと思います。 例えば、以下の図のように学習データとテストデータで特徴量の分布が違うということがしばしばあります。 この場合、学習データで多くみられた特徴量の値の領域ではテストデータの評価もうまくできる可能性が高いですが、学習データではあまり取らなかった値の領域を取るテストデータが多くなっていると、テストデータをうまく評価することができません。 これをCovariate Shiftと呼び(少し粗い説明にはなっています)、このCovariate Shiftを解決することをDomain Adaption(ドメイン適応)と呼んでいます。 さらに、ディープ・ラーニングではレイヤを何層も積み重ねます。 例えば2番目のレイ
s0sem0y.hatenablog.com ディープラーニングは2006年にトロント大学のHinton氏が考案したDeep Belief Networkから始まりました。このとき考案されたのが事前学習という手法で、一層ずつ層を学習させてから繋げていくことで、一気に深い構造を学習させる際に生じていた勾配消失問題を回避することに成功しました。 その後深い構造を使った機械学習が全てディープラーニングと呼ばれるようになり、今やその種類は非常に多岐に渡ります。今回はディープラーニングって言っても色々出てくるけど、どれがどれだか分からないという人のために（そして自分の中で整理するために）、ディープラーニング手法をまとめてみたいと思います。 ディープラーニングの種類のまとめ Deep Belief Network(DBN) 最初に登場したディープラーニングの手法 特徴抽出を人手でやらなくても良くなった
はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が
Deep Learningを勉強すると、とにかく分からないバックプロパゲーション。 やっていることは、入力の値に重みやバイアスを掛けて構築されるニューラルネットワークの出力値が目標値に近づくように重みやバイアスを調整するいわゆる学習の工程ですが、行列の計算式や∑がつらつら出てくるので、ぜんぜん理解できない。。 しかし、下図のよく出てくるニューラルネットワークの図を見ていると、ｙの値は入力値ｘの値と未知数のｗ、ｂの値からなっており、出力値と目標値の差の二乗の合計の値が最小になるようにw,bの値を求めてやればいい。 この出力値と目標値の差の二乗の合計の値が最小になるにっていう響き、何か聞いたことがあるぞ！ そう最小二乗法！！！ 最小二乗法では二乗誤差の合計が最小となるように、二乗誤差の合計の式に関して 未知数の偏微分 ＝ ０ として、未知数を求めますが、同じようなノリで、二乗誤差の合計の式に
最近おそ松さんというアニメが流行っていますね。 ６つ子のおそ松くんのアニメを現代版にアレンジした作品なのですが、その過程でそれぞれの兄弟の特徴が付けられています。 左から、おそ松、から松、チョロ松、一松、十四松、とど松で、順に長男次男三男・・・となっています。 簡単にまとめると、このようになります。 生まれ 名前 色 特徴 長男 おそ松 赤 クズ 次男 から松 青 ナルシスト 三男 チョロ松 緑 ツッコミ、意識高い系 四男 一松 紫 コミュ障 五男 十四松 黄色 マイペース 六男 とど松 ピンク 甘え上手、腹黒 それぞれの色を着ているときは、簡単に見分けられますが、そうでないときは見分けるのに困難を伴います。 髪や目つきにも特徴があるので、見分けることができるので、このような表を作ってらっしゃる方もいます。 それでも結構苦労したので、同じくディープラーニングで学習させたモデルで判別できない
皆さんこんにちは お元気ですか。私は全然です。 Deep Learning 一言で言うとただの深層学習ですが、 作り手や用途によって構造が全然違います。 今回は逆引き辞典よろしく、Deep Learningの実装のリンク集を作ってみました。 今回はライブラリは問わず、掲載します。 Caffe、Theano（Lasagne）、Torch7、Chainerなんでもござれです。 後日、追記するかも・・・ Neural Network（Full Connected） Auto Encoder Auto Encoder Denoising AutoEncoder Convolutional AutoEncoder Convolutional Neural Network Convolutional Neural Network R-CNN Fast-RCNN Faster-RCNN Recurren
2. ⾃自⼰己紹介 l 得居 誠也 (Seiya Tokui) @beam2d (Twitter, GitHub) l PFI (2012-‐‑‒2014) -‐‑‒> PFN (2014-‐‑‒) l 専⾨門：機械学習 – ⾃自然⾔言語処理理（品詞タグ付け）、近傍探索索のためのハッシング（修⼠士） – ⼊入社後しばらくは分散機械学習基盤 Jubatus のアルゴリズム開発 – Deep Learning（2012年年秋ごろ〜～）、画像・映像認識識 l 4 ⽉月に Chainer（深層学習のフレームワーク）を作り始めて今はこれがメイン 2 3. 深層学習 (Deep Learning) は認識識タスクで成功した 3 ⾳音声：2011 年年に GMM より単語誤識識別率率率で 10% 前後も改善 画像：2012 年年に
Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま
膨大なログの中から不審な通信を見つけ出したり、マルウェアの挙動を解析するならば専門家の長年の経験やカンに勝るものはない、という印象が強い。しかし、次々と亜種のマルウェアを生み出してくる攻撃者の「物量作戦」の前には、いくら優秀な専門家でも後手に回りがちだ。ならば「機械学習」を活用して異常を速やかに検出し、次の亜種を予想して、先回りして攻撃を防げないだろうか――そんなアプローチが始まろうとしている。 機械学習は、コンピュータの黎明（れいめい）期から研究が進んできた分野だ。コンピュータプログラムにデータを与え、その中に潜んでいる規則性を機械学習のアルゴリズムを使って抽出し、モデル化することで、あたかも人間と同じように判断を下せるようにする。かつては、膨大な計算量が必要なことがネックとなっていたが、近年のコンピューティング能力の向上に伴い、画像処理やユーザーの行動分析、それに基づくレコメンデーショ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
