实践中的谱偏置：函数频率在泛化中的作用
机器学习
2022-09-30 v4
摘要
尽管深度学习的模型能够表示极具表达力的函数，它们似乎总能找到简单且泛化性能惊人的解。谱偏置——神经网络优先学习低频函数的倾向——是解释该现象的一种可能，但迄今为止谱偏置主要在理论模型与简化实验中被观察到。本工作中，我们提出在CIFAR-10与ImageNet上测量现代图像分类网络谱偏置的方法。我们发现这些网络确实表现出谱偏置，且那些提升CIFAR-10测试精度的干预措施往往产生整体频率更高、但在各类别样本附近频率更低的学习函数。该趋势在训练时间、模型架构、训练样本数、数据增强和自蒸馏的变动下均成立。我们还探究了函数频率与图像频率的联系，发现谱偏置对自然图像中普遍存在的低频敏感。在ImageNet上，我们发现学习的函数频率也随类内多样性变化，更多样化的类别对应更高频率。我们的工作使得测量并最终影响用于图像分类的神经网络谱行为成为可能，并为理解深度模型为何泛化良好迈出一步。
引用
@article{arxiv.2110.02424,
title = {Spectral Bias in Practice: The Role of Function Frequency in Generalization},
author = {Sara Fridovich-Keil and Raphael Gontijo-Lopes and Rebecca Roelofs},
journal= {arXiv preprint arXiv:2110.02424},
year = {2022}
}