两层神经网络的谱偏置与鲁棒性比较: SGD 与自适应随机傅里叶特征
机器学习
2024-02-02 v1 机器学习
摘要
我们给出了实验结果，突出了由两层神经网络训练算法选择所导致的两个关键差异。神经网络的谱偏置众所周知，而谱偏置对训练算法选择的依赖关系则较少被研究。我们的实验表明，与随机梯度下降优化器相比，自适应随机傅里叶特征算法可以产生更接近于零的谱偏置。此外，我们使用 SGD 和 ARFF 训练了两个结构相同的分类器，使其达到相同的准确率水平，并实证评估了它们抵御对抗噪声攻击的鲁棒性。
关键词
引用
@article{arxiv.2402.00332,
title = {Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features},
author = {Aku Kammonen and Lisi Liang and Anamika Pandey and Raúl Tempone},
journal= {arXiv preprint arXiv:2402.00332},
year = {2024}
}
备注
6 Pages, 4 Figures; Accepted in the International Conference on Scientific Computing and Machine Learning