理解神经网络中频率偏差的动态
机器学习
2024-05-27 v1 人工智能
机器学习
摘要
最近的工作表明，传统神经网络架构在学习过程中表现出明显的频率偏差。即，神经网络先学习低频特征，后学习高频特征。本研究严格推导了一个偏微分方程，揭示了神经正切核机制下两层神经网络误差的频率动态。此外，利用这一见解，我们明确展示了如何通过适当选择初始化权重的分布来消除或控制频率偏差。我们重点研究傅里叶特征模型，该神经网络的第一层具有正弦和余弦激活函数，频率从指定分布中采样。在此设置下，我们通过实验验证了理论结果，并使用有限元方法将神经网络动态与PDE的解进行比较。最后，我们通过实验表明，相同的原理可扩展到多层神经网络。
引用
@article{arxiv.2405.14957,
title = {Understanding the dynamics of the frequency bias in neural networks},
author = {Juan Molina and Mircea Petrache and Francisco Sahli Costabal and Matías Courdurier},
journal= {arXiv preprint arXiv:2405.14957},
year = {2024}
}