从经验中“忘记”以避免虚假关联
机器学习
2024-09-05 v1 计算机视觉与模式识别
摘要
虽然深度神经网络在许多任务中可实现最先进的性能，但这些模型比表面上看起来更脆弱。它们容易在训练数据中学习虚假关联，导致意想不到的失败情况。本文提出了一种新方法来解决虚假关联问题：即从经验中“忘记” (UnLearning from Experience, ULE)。我们的方法基于使用两个并行训练的分类模型：学生模型和教师模型。两个模型接收相同的训练数据批次。学生模型不受约束地进行训练，追求数据中的虚假关联。教师模型被训练来解决相同的分类问题，同时避免学生模型的错误。由于并行训练，随着学生模型学习虚假关联的程度更好，教师模型将更具鲁棒性。教师模型使用学生模型输出相对于其输入的梯度来“忘记”学生模型所犯的错误。我们在 Waterbirds、CelebA、Spawrious 和 UrbanCars 数据集上显示，我们的方法有效。
引用
@article{arxiv.2409.02792,
title = {UnLearning from Experience to Avoid Spurious Correlations},
author = {Jeff Mitchell and Jesús Martínez del Rincón and Niall McLaughlin},
journal= {arXiv preprint arXiv:2409.02792},
year = {2024}
}
备注
10 pages