显著性在诊断泛化能力差时可能是一个红鲱鱼
计算机视觉与模式识别
2021-02-11 v3 机器学习
图像与视频处理
摘要
泛化能力差的一种表现是模型学会利用仅存在于训练分布中的伪相关图像特征而非表征类别的真实图像特征来预测目标变量。通常认为可使用归因（又称显著性）图从视觉上诊断此问题。我们研究该假设是否正确。在某些预测任务中，例如医学图像，可能拥有由人类专家绘制掩码的图像，指示图像中包含用于预测的相关信息的区域。我们研究多种利用此类辅助标签的方法，通过训练网络忽略可能在感兴趣区域之外发现的干扰特征。该掩码信息仅用于训练，并依据训练与测试分布间偏移的严重程度影响泛化精度。令人惊讶的是，尽管这些方法在存在协变量偏移时改善了泛化性能，但归因向人类专家标记为重要的特征的修正与泛化性能之间并无强对应关系。这些结果表明泛化能力差的根本原因可能并非总是空间定义的，并对将掩码作为“归因先验”以及将显著性图用于可解释预测的效用提出了质疑。
引用
@article{arxiv.1910.00199,
title = {Saliency is a Possible Red Herring When Diagnosing Poor Generalization},
author = {Joseph D. Viviano and Becks Simpson and Francis Dutil and Yoshua Bengio and Joseph Paul Cohen},
journal= {arXiv preprint arXiv:1910.00199},
year = {2021}
}
备注
25 pages, 27 figures, 5 tables, code in paper (https://github.com/josephdviviano/saliency-red-herring). Published at International Conference on Learning Representations (ICLR) 2021. Previously titled "Underwhelming Generalization Improvements from Controlling Feature Attribution"