复杂性至关重要：存在虚假相关时的特征学习动力学
机器学习
2024-08-27 v3
摘要
现有研究通常认为在神经网络优化中，虚假特征比核心特征更容易学习，但其相对简单性的影响尚未得到充分探索。此外，研究主要集中在最终性能上，而非特征学习的学习动力学。在本文中，我们提出了一个理论框架和一个基于布尔函数分析的相应合成数据集。该设置允许对虚假特征相对于核心特征的相对复杂性以及相对于标签的相关强度进行细粒度控制，以研究虚假相关下的特征学习动力学。我们的发现揭示了几个有趣的现象：(1) 更强的虚假相关性或更简单的虚假特征会减慢核心特征的学习速率；(2) 形成了两个不同的子网络分别学习核心特征和虚假特征；(3) 虚假特征和核心特征的学习阶段并不总是可分离的；(4) 即使在核心特征完全学习后，虚假特征也不会被遗忘。我们证明了我们的发现证明了重新训练最后一层以去除虚假相关性的成功合理性，同时也指出了利用虚假特征早期学习特性的流行去偏算法的局限性。我们通过针对使用单隐藏层 ReLU 网络学习 XOR 特征情况的理论分析，支持了我们的实证发现。
引用
@article{arxiv.2403.03375,
title = {Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations},
author = {GuanWen Qiu and Da Kuang and Surbhi Goel},
journal= {arXiv preprint arXiv:2403.03375},
year = {2024}
}
备注
Accepted to ICML 2024 with the title:"Complexity Matters: Feature Learning in the Presence of Spurious Correlations". Fixed fig caption