残差网络中最优信号传播的场论

残差网络在较大深度下比前馈网络具有显著更好的可训练性，从而具有更好的性能。引入跳跃连接有助于信号向更深层传播。此外，先前的研究发现，为残差分支添加缩放参数可进一步提升泛化性能。尽管他们通过经验确定了该缩放参数的一段特别有益的取值范围，但相关的性能提升及其在网络超参数间的普适性仍有待理解。对于前馈网络，有限尺寸理论已在信号传播与超参数调优方面带来重要见解。本文在此推导残差网络的系统性有限尺寸场论，以研究信号传播及其对残差分支缩放的依赖关系。我们推导出响应函数（衡量网络对输入敏感度的指标）的解析表达式，并表明对于深层网络，经验所得的缩放参数取值位于最大敏感度范围内。此外，我们得到了最优缩放参数的解析表达式，其仅微弱依赖于其他网络超参数（如权重方差），从而解释了其在超参数间的普适性。总体而言，本工作为有限尺寸下残差网络的研究提供了理论框架。