都知道何凯明大神的ResNet是为了解决“网络退化”问题，所谓的“网络退化”是指随着网络层次的加深，到达一定深度后，网络模型的性能不升反降，这被称为“网络退化”。如下图所示。
随着网络层次的加深，网络变得难以训练，不易收敛，原因在于随着网络层次的加深，深层梯度难以反向传播到浅层，即使传播到浅层，浅层的梯度值也小的可怜。
而ResNet利用残差连接，为什么能将网络做到很深的呢？其背后的原理是怎样的呢？刚入门深度学习时，没有认真考虑背后的原理，只是单纯地知道ResNet中残差连接到引入是为了解决“网络退化”问题，是为了网络更好的收敛。
首先回顾一下经典的残差结构，到现在为止，残差结果仍然广泛地应用于深度学习中，足以看出残差连接的重要性。
因篇幅问题不能全部显示，请点此查看更多更全内容