数据增强下使用在线噪声副本的梯度下降训练研究

在机器学习中，数据增强（DA）是一种改善泛化性能的技术。本文主要考虑了在使用数据集噪声副本（向输入中注入噪声）的 DA 下线性回归的梯度下降。我们分析了在每个 epoch 重新生成并使用随机噪声副本的情况；即使用在线噪声副本的情况。因此，这被视为对一种通过 DA 方式向训练过程注入噪声的方法的分析；即 DA 的在线版本。我们推导了在三种情形下的训练过程平均行为：平方和误差下的全批量训练，以及均方误差下的全批量和迷你批量训练。我们表明，在所有情况下，使用在线副本的 DA 训练近似等价于一种岭正则化，其正则化参数对应于注入噪声的方差。另一方面，我们表明学习率在平方和误差下的全批量以及均方误差下的迷你批量中被乘以噪声副本数加一；即使用在线副本的 DA 产生了明显的训练加速。明显的加速和正则化效应分别来自副本数据中的原始部分和噪声。这些结果在数值实验中得到验证。在数值实验中，我们发现我们的结果在欠参数化场景下可近似应用于通常的离线 DA，而在过参数化场景下则不能。此外，我们通过实验研究了离线噪声副本下神经网络的训练过程，发现我们对线性回归的分析有可能应用于神经网络。