超越分布偏移：透过训练动力学视角审视虚假特征

深度神经网络（DNN）倾向于学习在训练过程中与标签相关但与学习问题无关的虚假特征。这会损害模型泛化能力，并在部署于安全关键应用时带来问题。本文旨在透过训练过程中内部神经元的学习动力学视角，更好地理解虚假特征的影响。我们得出以下观察：(1) 以往工作强调虚假特征对 DNN 泛化能力的有害影响，而我们强调并非所有虚假特征都是有害的。虚假特征可以是“良性”或“有害”的，取决于对于给定模型而言，它们比核心特征“更难”还是“更易”学习。这一定义依赖于模型和数据集。(2) 我们基于此前提，使用实例难度方法（如预测深度（Baldock 等人，2021））来量化给定模型的“易学性”，并在训练阶段识别这种行为。(3) 我们通过实验表明，通过观察 DNN 早期层的学习动力学可以检测到有害的虚假特征。换言之，DNN 初始层在训练早期学到的简单特征可能损害模型泛化。我们在模拟和真实的医学与视觉数据集上验证了我们的主张，并通过展示预测深度与信息论概念（如 V-可用信息（Ethayarajh 等人，2021））之间的理论联系，证明了我们假设的实证成功。最后，我们的实验表明，仅在训练期间监控准确率（如机器学习流程中常见的那样）不足以检测虚假特征。因此，我们强调需要使用合适的实例难度指标来监控早期训练动力学。