Learn Deep Learning with PyTorch

part1: Deep learning foundation

• Chapter 2: PyTorch Basics

  • Tensor and Variable
  • Autograd
  • Dynamic Graph

• Chapter 3: Neural Networks

  • Linear regression gradient descend
  • Logistic regression
  • Multi-layer neural network with Sequential Module
  • Deep Neural Network
  • Parameter Initialization
  • Optimization
    • SGD
    • Momentum
    • Adagrad
    • RMSProp
    • Adadelta
    • Adam

• Chapter 4: Convolutional neural network

  • PyTorch Convolution module
  • Batch normalization
  • 使用重复元素的深度网络，VGG
  • 更加丰富化结构的网络，GoogLeNet
  • Deep residual network，ResNet
  • Densely Connected Convolutional Networks，DenseNet
  • 更好的训练卷积网络
    • Data augumentation
    • Regularization
    • Learning Rate Decay

• Chapter 5: Recurrent neural network

  • Recurrent Neural Networks：LSTM with GRU
  • RNN for Image classification
  • RNN Time Series Analysis
  • Natural language processing：
    • Word Embedding
    • N-Gram Model
    • Seq-LSTM Word Prediction

• Chapter 6: Generative Adversarial Network

  • Autoencoder
  • Variational Autoencoder
  • Generative Adversarial Network
  • Deep convolutional generative adversarial networks (DCGANs) Generating a Face

• Chapter 7: 深度强化学习

  • Q Learning
  • Open AI gym
  • Deep Q-networks

• Chapter 8: PyTorch高级

  • tensorboard Visualization
  • Data IO
  • autograd.function 的介绍
  • 数据并行和多 GPU
  • 使用 ONNX 转化为 Caffe2 模型
  • 如何部署训练好的神经网络
  • 打造属于自己的 PyTorch 的使用习惯

part2: Applications of Deep Learning

• Chapter 9: Computer Vision

  • Fine-tuning: Transfer learning through fine tuning
  • kaggle初体验:猫狗大战
  • 语义分割: 通过 FCN 实现像素级别的分类
  • Pixel to Pixel 生成对抗网络
  • Neural Transfer: 通过卷积网络实现风格迁移
  • Deep Dream: 探索卷积网络眼中的世界

• Chapter 10: Natural language processing

  • Char RNN 实现文本生成
  • Image Caption: 实现图片字幕生成
  • seq2seq 实现机器翻译
  • cnn + rnn + attention 实现文本识别

Resources

关于深度学习的一些公开课程以及学习资源，可以参考我的这个repository

可以关注我的知乎专栏和博客，会经常分享一些深度学习的文章

关于PyTorch的资源

我的github repo pytorch-beginner

pytorch-tutorial

the-incredible-pytorch

practical-pytorch

PyTorchZeroToAll

Awesome-pytorch-list

Acknowledgement

本书的第二版内容其中一些部分参考了 mxnet gluon 的中文教程，通过MXNet/Gluon来动手学习深度学习。

Gluon 是一个和 PyTorch 非常相似的框架，非常简单、易上手，推荐大家去学习一下，也安利一下 gluon 的中文课程，全中文授课，有视频，有代码练习，可以说是最全面的中文深度学习教程。