|
| 1 | +<!-- TOC --> |
| 2 | + |
| 3 | +- [深度学习初识](#深度学习初识) |
| 4 | + - [一、入门基本概念](#一入门基本概念) |
| 5 | + - [机器学习简介](#机器学习简介) |
| 6 | + - [机器学习应用举例](#机器学习应用举例) |
| 7 | + - [机器学习应用流程](#机器学习应用流程) |
| 8 | + - [机器学习岗位职责](#机器学习岗位职责) |
| 9 | + - [深度学习简介](#深度学习简介) |
| 10 | + - [深度学习与机器学习关系](#深度学习与机器学习关系) |
| 11 | + - [深度学习算法集合](#深度学习算法集合) |
| 12 | + - [深度学习进展](#深度学习进展) |
| 13 | + - [二、神经网络](#二神经网络) |
| 14 | + - [人体神经元模型](#人体神经元模型) |
| 15 | + - [人工神经网络](#人工神经网络) |
| 16 | + - [1. 神经元](#1-神经元) |
| 17 | + - [2. 逻辑回归模型](#2-逻辑回归模型) |
| 18 | + - [目标函数](#目标函数) |
| 19 | + - [梯度下降](#梯度下降) |
| 20 | + - [三、Tensorflow基础](#三tensorflow基础) |
| 21 | + - [Tensorflow简介](#tensorflow简介) |
| 22 | + - [计算图模型](#计算图模型) |
| 23 | + - [TensorFlow 安装](#tensorflow-安装) |
| 24 | + - [参考资料](#参考资料) |
| 25 | + |
| 26 | +<!-- /TOC --> |
| 27 | + |
| 28 | +# 深度学习初识 |
| 29 | + |
| 30 | +## 一、入门基本概念 |
| 31 | + |
| 32 | +### 机器学习简介 |
| 33 | + |
| 34 | +**机器学习**：无序数据转化为价值的方法 |
| 35 | +**机器学习价值**：从数据中抽取规律，并预测未来 |
| 36 | + |
| 37 | + |
| 38 | + |
| 39 | +#### 机器学习应用举例 |
| 40 | + |
| 41 | +- 分类问题：图像识别、垃圾邮件识别 |
| 42 | +- 回归问题：股价预测、房价预测 |
| 43 | +- 排序问题：点击率预估、推荐 |
| 44 | +- 生成问题：图像生成、图像风格转换、图像文字描述生成 |
| 45 | + |
| 46 | + |
| 47 | + |
| 48 | +#### 机器学习应用流程 |
| 49 | + |
| 50 | + |
| 51 | + |
| 52 | + |
| 53 | + |
| 54 | +#### 机器学习岗位职责 |
| 55 | + |
| 56 | +- 数据处理（采集+去噪） |
| 57 | +- 模型训练（特征+模型） |
| 58 | +- 模型评估与优化（MSE、F1-score、AUC+调参） |
| 59 | +- 模型应用（A/B测试） |
| 60 | + |
| 61 | + |
| 62 | + |
| 63 | +### 深度学习简介 |
| 64 | + |
| 65 | + |
| 66 | + |
| 67 | +人工智能、机器学习、深度学习之间的关系 |
| 68 | + |
| 69 | +``` |
| 70 | +人工智能（AI）> 机器学习（Machine Learning）> 深度学习（Deep learning） |
| 71 | +``` |
| 72 | + |
| 73 | + |
| 74 | + |
| 75 | +#### 深度学习与机器学习关系 |
| 76 | + |
| 77 | +- 机器学习是实现人工智能的方法 |
| 78 | +- 深度学习是实现机器学习算法的技术 |
| 79 | + |
| 80 | + |
| 81 | + |
| 82 | +#### 深度学习算法集合 |
| 83 | + |
| 84 | +- **卷积神经网络**(Convolutional Neural Network, CNN) |
| 85 | + - CV 领域使用较多 |
| 86 | +- **循环神经网络**(Recurrent Neural Networks，RNNs) |
| 87 | + - NLP 领域使用较多 |
| 88 | + - 处理不定长数据 |
| 89 | +- 自动编码器 |
| 90 | +- 稀疏编码 |
| 91 | +- 深度信念网络 |
| 92 | +- 深度学习 + 强化学习 = **深度强化学习** |
| 93 | + - AlphaGo |
| 94 | + - AlphaZero |
| 95 | + |
| 96 | + |
| 97 | + |
| 98 | +#### 深度学习进展 |
| 99 | + |
| 100 | +1. 图像分类 |
| 101 | + |
| 102 | +ImageNet: http://image-net.org/ |
| 103 | + |
| 104 | + |
| 105 | + |
| 106 | + |
| 107 | + |
| 108 | +2. 机器翻译 |
| 109 | + |
| 110 | + |
| 111 | + |
| 112 | +3. 图像生成 |
| 113 | + |
| 114 | + |
| 115 | + |
| 116 | + |
| 117 | + |
| 118 | + |
| 119 | + |
| 120 | +- [Implementing Neural Artistic Style Transfer | L2Program](http://l2program.co.uk/945/implementing-neural-artistic-style-transfer) |
| 121 | + |
| 122 | +4. 字体生成 |
| 123 | + |
| 124 | +5. AlphaGo |
| 125 | + |
| 126 | + |
| 127 | + |
| 128 | +## 二、神经网络 |
| 129 | + |
| 130 | +### 人体神经元模型 |
| 131 | + |
| 132 | +神经网络模型是模仿人类的大脑神经构造而构造的。先来看人体神经元模型。 |
| 133 | + |
| 134 | + |
| 135 | + |
| 136 | +神经元的可以分为四个区域： |
| 137 | + |
| 138 | +- 接收区（receptive zone）：树突接收到输入信息。 |
| 139 | +- 触发区（trigger zone）：位于轴突和细胞体交接的地方，决定是否产生神经冲动。 |
| 140 | +- 传导区（conducting zone）：由轴突进行神经冲动的传递。 |
| 141 | +- 输出区（output zone）：神经冲动的目的就是要让神经末梢，突触的神经递质或电力释出，才能影响下一个接受的细胞（神经元、肌肉细胞或是腺体细胞），此称为突触传递。 |
| 142 | + |
| 143 | + |
| 144 | + |
| 145 | +### 人工神经网络 |
| 146 | + |
| 147 | +人工神经网络（ANN：Artificial Neural Network），简称神经网络（NN：Neural Network）。迄今为止，人工神经网络尚无统一定义， 其实一种模拟了人体神经元构成的数学模型，依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 |
| 148 | + |
| 149 | + |
| 150 | + |
| 151 | +上图显示了人工神经网络是一个分层模型，逻辑上可以分为三层： |
| 152 | + |
| 153 | +- 输入层：输入层接收特征向量 x 。 |
| 154 | +- 输出层：输出层产出最终的预测 h 。 |
| 155 | +- 隐含层：隐含层介于输入层与输出层之间，之所以称之为隐含层，是因为当中产生的值并不像输入层使用的样本矩阵 X 或者输出层用到的标签矩阵 y 那样直接可见。 |
| 156 | + |
| 157 | + |
| 158 | + |
| 159 | + |
| 160 | + |
| 161 | +### 1. 神经元 |
| 162 | + |
| 163 | + |
| 164 | + |
| 165 | + |
| 166 | + |
| 167 | + |
| 168 | + |
| 169 | + |
| 170 | + |
| 171 | + |
| 172 | + |
| 173 | +### 2. 逻辑回归模型 |
| 174 | + |
| 175 | +``` |
| 176 | +神经元 -> 激活函数sigmoid -> 二元类逻辑斯蒂回归模型 |
| 177 | +``` |
| 178 | + |
| 179 | + |
| 180 | + |
| 181 | + |
| 182 | + |
| 183 | +神经元 -> 多输出 |
| 184 | + |
| 185 | +- W从向量扩展为矩阵 |
| 186 | +- 输出W*x则变成向量 |
| 187 | + |
| 188 | + |
| 189 | + |
| 190 | + |
| 191 | + |
| 192 | +多输出神经元 -> softmax -> 多分类逻辑斯蒂回归模型 |
| 193 | + |
| 194 | + |
| 195 | + |
| 196 | + |
| 197 | + |
| 198 | + |
| 199 | + |
| 200 | +### 目标函数 |
| 201 | + |
| 202 | +也称为损失函数，衡量对数据的拟合程度 |
| 203 | + |
| 204 | + |
| 205 | + |
| 206 | +### 梯度下降 |
| 207 | + |
| 208 | +- 下山算法 |
| 209 | + - 找方向 |
| 210 | + - 走一步 |
| 211 | + |
| 212 | +- 梯度下降算法 |
| 213 | + |
| 214 | + |
| 215 | + |
| 216 | +## 三、Tensorflow基础 |
| 217 | + |
| 218 | +### Tensorflow简介 |
| 219 | + |
| 220 | +Google Brain 第二代机器学习框架 |
| 221 | + |
| 222 | + |
| 223 | + |
| 224 | +### 计算图模型 |
| 225 | + |
| 226 | +- 命令式变成 |
| 227 | +- 声明式变成 |
| 228 | + |
| 229 | + |
| 230 | + |
| 231 | + |
| 232 | + |
| 233 | +## TensorFlow 安装 |
| 234 | + |
| 235 | +- [TensorFlow 官方文档](https://tensorflow.google.cn/) |
| 236 | + |
| 237 | +- [TensorFlow 安装方法](https://tensorflow.google.cn/install) |
| 238 | + |
| 239 | + |
| 240 | + |
| 241 | +1. 基于 VirtualEnv 的安装 |
| 242 | +2. 原生 pip |
| 243 | +3. Docker |
| 244 | +4. 从源代码安装 |
| 245 | + |
| 246 | + |
| 247 | + |
| 248 | +## 参考资料 |
| 249 | + |
| 250 | +- [机器学习入门(五) -- 神经网络](https://waltyou.github.io/Neural-Network/#%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%AE%9A%E4%B9%89) |
| 251 | + |
| 252 | +- [深度学习-初识 - Corwien - SegmentFault 思否](https://segmentfault.com/a/1190000016068053) |
0 commit comments