3. 現在のDNNを1枚でおさらい l 活性化関数には区分線形関数を使い、伝搬は減衰/発散もしなくなった – 例例:Relu f(x) = max(0, x) これはsoftplus log(1+exp(x))のhard版 l 最適化にはRMSPropやAdamなどHessianのオンライン推定版を使う l Batch正規化層で、各層の⼊入⼒力力は常に平均0, 分散1に正規化し学習を容易易に l ResNet: f(x) = x + h(x) を使うことで 1000層を超えても学習可能に l 変分ベイズとの融合で、⾮非線形の⽣生成モデルの学習も容易易に – 特に潜在変数が連続変数の場合は変数変換トリックで効率率率よく学習可能 – 半教師あり学習、1ショット学習が可能に l 強化学習との融合で、⽣生の⼊入⼒力力から