揭示虚假相关存在下的记忆效应

机器学习模型通常依赖于简单的虚假特征——训练数据中与目标相关但不存在因果关系的模式，例如前景分类中的图像背景。这种依赖通常会导致在少数群体和多数群体之间的测试性能不平衡。在本研究中，我们通过记忆的视角深入探讨了这种不平衡性能的根本原因，记忆是指在训练集中能准确预测非典型样本（少数群体），但在测试集中却无法达到相同准确率的能力。本文系统地证明了虚假特征在网络中的一小部分神经元中普遍存在，并提供了前所未有的证据，表明记忆可能导致了群体间不平衡的性能。通过三个实验来源的趋同经验证据，我们发现了少部分神经元或通道在记忆少数群体信息方面的特性。受这些发现的启发，我们假设集中在少部分神经元内的虚假记忆在驱动不平衡的群体性能方面起着关键作用。为了进一步证实这一假设，我们表明在训练期间通过一种新颖的框架消除这些不必要的虚假记忆模式可以显著影响模型在少数群体上的性能。我们在各种架构和基准测试上的实验结果为神经网络如何编码核心知识和虚假知识提供了新的见解，为未来研究揭开对虚假相关鲁棒性的奥秘奠定了基础。