浅型神经网络单变量回归中镜像流的隐式偏差
机器学习
2025-03-20 v2 机器学习
摘要
我们考察了镜像流在单变量最小二乘回归中的隐式偏差，针对广泛的浅型神经网络。对于广泛的函数类，我们证明当网络宽度趋于无穷大时，镜像流表现出惰性训练，与普通梯度流具有相同的隐式偏差。对于 ReLU 网络，我们通过函数空间中的变分问题来刻画这种偏差。我们的分析包括将普通梯度流的先前结果作为特殊情况，并提升了需要对训练数据进行难以可计算的调整或网络具有跳跃连接的限制。我们进一步引入了缩放函数，证明对于这些函数，镜像流仍表现出惰性训练，但不在核范数范畴内。对于使用绝对值激活函数的网络，我们证明带缩放函数的镜像流诱导丰富的偏差类，这些偏差通常无法由 RKHS 范数捕获。一个重要结论是，参数初始化决定了在输入空间的不同位置对所学习函数曲率的惩罚强度，而缩放函数决定了对曲率不同大小的惩罚方式。
引用
@article{arxiv.2410.03988,
title = {Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression},
author = {Shuang Liang and Guido Montúfar},
journal= {arXiv preprint arXiv:2410.03988},
year = {2025}
}