00.前言
What I cannot create, I do not understand. 如果我不能亲手搭建起来一个东西，那么我就不能理解它。 – 美国物理学家理查德·费曼
笔者总结了自身的学习经历后，把深度学习的入门知识归纳成了9个步骤，简称为9步学习法：
- 基本概念
- 线性回归
- 线性分类
- 非线性回归
- 非线性分类
- 模型的推理与部署
- 深度神经网络
- 卷积神经网络
- 循环神经网络
在后面的讲解中，我们一般会使用如下方式进行：
- 提出问题：先提出一个与现实相关的假想问题，为了由浅入深，这些问题并不复杂，是实际的工程问题的简化版本。
- 解决方案：用神经网络的知识解决这些问题，从最简单的模型开始，一步步到复杂的模型。
- 原理分析：使用基本的物理学概念或者数学工具，理解神经网络的工作方式。
- 可视化理解：可视化是学习新知识的重要手段，由于我们使用了简单案例，因此可以很方便地可视化。
符号约定
| 符号 | 含义 |
|---|---|
| $x$ | 训练用样本值 |
| $x_1$ | 第一个样本或样本的第一个特征值，在上下文中会有说明 |
| $x_{12},x_{1,2}$ | 第1个样本的第2个特征值 |
| $X$ | 训练用多样本矩阵 |
| $y$ | 训练用样本标签值 |
| $y_1$ | 第一个样本的标签值 |
| $Y$ | 训练用多样本标签矩阵 |
| $z$ | 线性运算的结果值 |
| $Z$ | 线性运算的结果矩阵 |
| $Z1$ | 第一层网络的线性运算结果矩阵 |
| $\sigma$ | 激活函数 |
| $a$ | 激活函数结果值 |
| $A$ | 激活函数结果矩阵 |
| $A1$ | 第一层网络的激活函数结果矩阵 |
| $w$ | 权重参数值 |
| $w_{12},w_{1,2}$ | 权重参数矩阵中的第1行第2列的权重值 |
| $w1_{12},w1_{1,2}$ | 第一层网络的权重参数矩阵中的第1行第2列的权重值 |
| $W$ | 权重参数矩阵 |
| $W1$ | 第一层网络的权重参数矩阵 |
| $b$ | 偏移参数值 |
| $b_1$ | 偏移参数矩阵中的第1个偏移值 |
| $b2_1$ | 第二层网络的偏移参数矩阵中的第1个偏移值 |
| $B$ | 偏移参数矩阵（向量） |
| $B1$ | 第一层网络的偏移参数矩阵（向量） |
| $X^T$ | X的转置矩阵 |
| $X^{-1}$ | X的逆矩阵 |
| $loss,loss(w,b)$ | 单样本误差函数 |
| $J, J(w,b)$ | 多样本损失函数 |