用于改进泛化的反相关噪声注入
机器学习
2023-05-22 v3 机器学习
最优化与控制
摘要
向梯度下降(GD)中注入人工噪声通常用于提升机器学习模型的性能。此类扰动梯度下降(PGD)方法通常使用不相关噪声。然而，尚不清楚这是否最优，或其他类型的噪声是否能提供更好的泛化性能。本文中，我们聚焦于关联连续PGD步骤扰动的问题。我们考虑多种目标函数，发现具有反相关扰动的GD(“Anti-PGD”)比GD和标准(不相关)PGD泛化显著更好。为支持这些实验发现，我们还推导了理论分析，证明Anti-PGD移动到更宽的最小值，而GD和PGD停留在次优区域甚至发散。这一反相关噪声与泛化之间的新联系为该领域利用噪声训练机器学习模型开辟了新途径。
引用
@article{arxiv.2202.02831,
title = {Anticorrelated Noise Injection for Improved Generalization},
author = {Antonio Orvieto and Hans Kersting and Frank Proske and Francis Bach and Aurelien Lucchi},
journal= {arXiv preprint arXiv:2202.02831},
year = {2023}
}
备注
22 pages, 16 figures