通过简单性偏差视角在训练早期识别虚假偏差
机器学习
2024-03-08 v2 计算机视觉与模式识别
摘要
使用（随机）梯度下降训练的神经网络具有学习更简单解的归纳偏差。这使得它们极易在训练数据中学习到虚假关联，而这些关联在测试时可能不成立。在本工作中，我们首次对简单性偏差在学习虚假关联上的影响进行了理论分析。值得注意的是，我们证明具有虚假特征的样本在训练早期基于模型输出是可证明分离的。我们进一步说明，如果虚假特征具有足够小的噪声-信号比，网络在绝大多数样本上的输出几乎完全由虚假特征决定，从而导致较差的最坏组测试准确率。最后，我们提出 SPARE，它在训练早期识别虚假关联并利用重要性采样来缓解其影响。在实验上，我们证明 SPARE 在最坏组准确率上比最先进的方法高出至多 21.1%，同时快至多 12 倍。我们还表明 SPARE 是一种高度有效但轻量的发现虚假关联的方法。
引用
@article{arxiv.2305.18761,
title = {Identifying Spurious Biases Early in Training through the Lens of Simplicity Bias},
author = {Yu Yang and Eric Gan and Gintare Karolina Dziugaite and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2305.18761},
year = {2024}
}
备注
26 pages, 10 figures