特征污染：神经网络学习无关联特征并导致泛化失败

构建能够在分布迁移下保持泛化能力的表征学习是构建鲁棒机器学习模型的关键任务。然而，尽管近年来付出了大量努力，但在此方向上的算法进展仍有限。本文旨在理解深度神经网络进行外分布泛化的根本难题。我们首先经验性地表明，即便允许神经网络显式拟合来自能够实现外分布泛化的教师网络获得的表征，对于学生网络的泛化仍然不足。随后，通过对在结构化特征模型下使用随机梯度下降 (SGD) 优化的两层 ReLU 网络的理论研究，我们识别出神经网络一种根本且尚未被探讨的特征学习倾向：特征污染——神经网络可以学习与预测特征无关的特征，从而导致在分布迁移下发生泛化失败。值得注意的是，这一机制本质上不同于文献中将泛化失败归因于伪相关性的主流叙述。总体而言，我们的结果为理解神经网络的非线性特征学习动力学提供了新见解，并突显了在外分布泛化中考虑归纳偏置的必要性。