前馈神经网络中的活动-权重对偶性：泛化的几何决定因素

机器学习中的基本问题之一是泛化。在具有大量权重（参数）的神经网络模型中，可找到许多对训练数据拟合效果同等的解。关键问题在于哪个解能够描述不在训练集中的测试数据。在此，我们报告了在任何前馈神经网络的稠密连接层中，给定神经元层活动变化与连接到下一层神经元的权重变化之间精确对偶（等价）关系的发现。活动-权重（A-W）对偶性使我们能够将输入（数据）的变化映射到相应对偶权重的变化。利用该映射，我们表明泛化损失可分解为在权重空间中解处的损失函数 Hessian 矩阵不同特征方向贡献之和。给定特征方向的贡献是两个几何因子（决定因素）的乘积：损失景观的锐度与对偶权重的标准差，后者被发现随解的权重范数缩放。我们的结果提供了一个统一框架，借此我们揭示了不同正则化方案（权重衰减、具有不同批量大小和学习率的随机梯度下降、dropout）、训练数据规模以及标签噪声如何通过控制这两个泛化几何决定因素之一或两者来影响泛化性能。这些见解可用于指导开发在过参数化神经网络中寻找更具泛化解的算法。