深度学习

1. 基础

激活函数
- Sigmoid
- ReLU
- ReLU的变种：Leaky ReLU & PReLU & RReLU & ELU & SELU
- Swish
参数初始化：
- 全零初始化
- 随机初始化
- 其他初始化
优化方法
- 梯度下降法
- Adagrad
- RMSProp
- Momentum
- Nesterov动量
- Adam
CNN概念
- CNN设计的原理
- CNN的优势
- 各类卷积结构

2. 各类CNN网络

各种不同的CNN结构

AlexNet
ZFNet
VGG16
NIN (Network in Network)
GoogLeNet(Inception v1)
Inception v2&v3
ResNet
基于ResNet的改进
- residual block的修改
- Wide ResNet
- ResNeXt
DenseNet

3. 各类高频问题

这部分主要来自：深度学习《面试》你可能需要知道的内容