SGD噪声的蝴蝶效应：行为克隆与自回归中的误差放大
机器学习
2023-10-18 v1 最优化与控制
机器学习
摘要
本研究探讨使用深度神经网络进行行为克隆时的训练不稳定性。我们观察到，训练过程中对策略网络的小批量SGD更新会导致长程回报的剧烈振荡，尽管对行为克隆损失的影响可忽略不计。我们通过实验区分了这些振荡的统计与计算成因，发现其源于小批量SGD噪声通过不稳定闭环动力学的混沌传播。虽然SGD噪声在单步动作预测目标中是良性的，但它会在长程上导致灾难性误差累积，我们将此效应称为梯度方差放大(GVA)。我们表明许多标准缓解技术并不能减轻GVA，但发现对迭代量取指数移动平均(EMA)出奇有效地做到了这一点。我们通过展示在连续控制与自回归语言生成中GVA的存在及其被EMA缓解，说明了该现象的普遍性。最后，我们提供理论简析，阐明EMA在缓解GVA中的益处，并揭示经典凸模型在多大程度上有助于理解深度学习中迭代平均的益处。
引用
@article{arxiv.2310.11428,
title = {Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression},
author = {Adam Block and Dylan J. Foster and Akshay Krishnamurthy and Max Simchowitz and Cyril Zhang},
journal= {arXiv preprint arXiv:2310.11428},
year = {2023}
}