数据增强如何影响线性回归的优化

尽管数据增强已迅速成为现代机器学习中优化的关键工具，但关于增强调度如何影响优化并与学习率等优化超参数相互作用的认识尚处于起步阶段。本着经典凸优化和近期关于隐式偏置的工作精神，本文在均方误差损失的线性回归这一简单凸设定下分析了增强对优化的影响。我们找到了学习率与数据增强方案的联合调度，使得增强梯度下降可证明收敛，并刻画了所得的最小值。我们的结果适用于任意增强方案，揭示了即使在凸设定下学习率与增强之间也存在复杂的交互。我们的方法将增强的（随机）梯度下降解释为针对随时间变化的代理损失序列的随机优化方法。这给出了一种统一的方式来分析了学习率、批量大小以及从加性噪声到随机投影的各类增强。从这一视角看，我们的结果（也给出了收敛速率）可视为增强（随机）梯度下降的 Monro-Robbins 型条件。