二、两种深度神经网络构架

最后，我们介绍两种常见的深度神经网络构架。事实上，深度神经网络提供了一个很好的结构化和模块化设计思路。

（一）AlexNet模型

AlexNet模型在2012年ILSVRC（ImageNet大规模图像识别竞赛）比赛中获得了第一名。AlexNet网络构架如图2-3-3所示。

其中，第一层输入图像尺寸是224×224×3，这表示长宽是224个像素，且拥有RGB三个通道。然后采用了96个11×11×3的卷积核，在步长（stride）为4的设置下对输入图像进行卷积操作。进行卷积操作后，输出变成了55×55×96的张量。其中，根据公式“输入张量的尺寸减去卷积核尺寸/步长+1”可以计算得到输出张量的尺寸。然后经过ReLU激活函数和滤波器大小为3×3，步长为2的池化操作，得到输出尺寸为27×27×96的张量。

图2-3-2　深度神经网络构架示例

图2-3-3　AlexNet的分层结构

第二、三、四、五层操作基本类似。第六层的输入是6×6×256大小的张量，将其转化成一个列向量X，长度为9 216（6×6×256），也就是看成一个9 216×1的矩阵，然后用W（4 096×9 216）和X相乘，得到了尺寸为4 096×1的矩阵。第七层和第六层操作类似。第八层的输出为1 000×1，即1 000维列向量，对应softmax后的1 000个标签。

（二）ResNet模型

随着各种模型的推陈出新，研究人员发现，虽然增加网络的深度可以让网络具有更好的表征能力，但是这也带来一些问题：随着深度的增加，训练会愈加困难。这主要是因为在基于随机梯度下降的网络训练过程中，误差的多层反向传播非常容易引发梯度退化或者爆炸现象。虽然这样的问题可以由权重初始化策略和批规范化策略等方法加以改善，但是随着网络层数的增加，训练的误差没有降低反而升高了。最终，残差网络（ResNet）的出现解决了这个问题。

残差网络基于残差模块。残差模块的构架如图2-3-4所示。残差网络和一般的网络模型的区别是在做完卷积和池化之后又和初始的输入进行逐项相加或者相乘。此外，残差网络以全局平均池化层代替全连接层，一方面使参数大大减少，另一方面降低了过拟合风险。

图2-3-4　残差模块结构图

（应时辉　彭亚新　孔德兴）