随机权重平均再探

对由主干随机梯度下降（SGD）采样得到的神经网络权重进行平均，是一种简单而有效的方法，可在泛化方面协助主干 SGD 找到更好的最优点。从统计角度看，权重平均（WA）有助于降低方差。近来，一种成熟的随机权重平均（SWA）方法被提出，其特点是在生成用于 WA 的权重样本时采用周期性或高常数（CHC）学习率调度（LRS）。随后出现了关于 WA 的新见解，即 WA 有助于发现更宽的最优点并从而带来更好的泛化。我们对 SWA 进行了广泛的实验研究，涉及十几种现代 DNN 模型结构和十几个基准开源图像、图和文本数据集。我们解耦了 SWA 中 WA 操作与 CHC LRS 的贡献，表明 SWA 中的 WA 操作仍有助于降低方差，但并不总能导致宽最优点。实验结果表明 DNN 损失地形中存在全局尺度几何结构。我们进而提出一种称为周期性 SWA（PSWA）的算法，其利用一系列 WA 操作来发现全局几何结构。PSWA 显著优于其主干 SGD，为全局几何结构的存在提供了实验证据。用于复现实验结果的代码见 https://github.com/ZJLAB-AMMI/PSWA。