仅用解释训练：防止捷径学习的新范例
计算机视觉与模式识别
2025-08-28 v2 人工智能
机器学习
图像与视频处理
摘要
人工智能(AI)在关键领域(如医疗领域)的应用常受到捷径学习的阻碍，这会阻碍AI对来自不同医院和患者的 generalization。捷径学习可能由背景偏差引起--例如，图像背景中的特征与分类标签之间存在偶然相关性(例如，X光片中的文字)。为缓解图像背景和前景偏差对AI的影响，我们引入一种新训练范例，称为Training with Explanations Alone(TEA)。TEA仅通过使其解释热力图匹配来自更大教师模型的目标热力图来训练分类器(TEA学生)。通过学习其解释热力图，TEA学生会关注与教师相同的图像特征。例如，教师使用大型分割器在分类前移除图像背景，从而忽略背景偏差。通过学习教师的解释热力图，TEA学生学习到也忽略背景——但无需分割器。有不同的教师，TEA学生还能抵抗图像前景的偏差。令人惊讶的是，仅通过热力图训练，学生的输出自然匹配教师的输出——没有对学生输出应用损失函数。我们在5个具有强烈背景或前景偏差的数据集上与14种SOTA方法进行了比较，包括Waterbirds和用于COVID-19和肺炎分类的X光片数据集。TEA学生对偏差的抵抗力更好，显著优于SOTA方法，能够更好地泛化到训练中未见过的医院。
引用
@article{arxiv.2407.09788,
title = {Training with Explanations Alone: A New Paradigm to Prevent Shortcut Learning},
author = {Pedro R. A. S. Bassi and Haydr A. H. Ali and Andrea Cavalli and Sergio Decherchi},
journal= {arXiv preprint arXiv:2407.09788},
year = {2025}
}