信号处理遇见 SGD：从动量到滤波器
机器学习
2025-03-11 v7 信号处理
摘要
在深度学习中，随机梯度下降（SGD）及其基于动量的变体被广泛用于优化。然而，这些方法的内部动力学仍未被充分探索。本文从信号处理的角度分析梯度行为，分离出影响梯度更新的关键因素，并揭示了一个关键局限：动量技术缺乏充分平衡梯度中偏差与方差分量的灵活性，导致梯度估计不准确。为解决此问题，我们提出一种基于维纳滤波器（Wiener Filter）原理的新方法 SGDF（带滤波器的 SGD），其推导出最优时变增益，通过最小化梯度估计中的均方误差来精炼梯度更新。该方法产生最优的一阶梯度估计，有效平衡了噪声抑制与信号保留。此外，我们的方法可扩展至自适应优化器，增强其泛化潜力。实证结果表明，与传统动量方法相比，SGDF 实现了更优的收敛性与泛化性，并与最先进（state-of-the-art）的优化器具有竞争力。
引用
@article{arxiv.2311.02818,
title = {Signal Processing Meets SGD: From Momentum to Filter},
author = {Zhipeng Yao and Rui Yu and Guisong Chang and Ying Li and Yu Zhang and Dazhou Li},
journal= {arXiv preprint arXiv:2311.02818},
year = {2025}
}