梯度下降作为谱偏置的收缩算子
机器学习
2025-04-28 v1 计算机视觉与模式识别
摘要
我们推广了激活函数与样条回归/平滑之间的联系，刻画了这种选择如何影响1D浅层网络中的谱偏置。我们进一步展示了梯度下降(GD)如何可被重新解释为一种收缩算子，用于掩盖神经网络雅可比矩阵的奇异值。从而，GD隐式地选择要保留的频率分量数量，从而控制谱偏置。我们提出了GD超参数(学习率和迭代次数)与带宽(活跃分量数量)之间的显式关系。仅在单调激活函数下，GD正则化才有效。最后，我们强调了非单调激活函数(sinc, Gaussian)作为谱偏置的迭代效率替代品的实用性。
引用
@article{arxiv.2504.18207,
title = {Gradient Descent as a Shrinkage Operator for Spectral Bias},
author = {Simon Lucey},
journal= {arXiv preprint arXiv:2504.18207},
year = {2025}
}