使用简单的是非标注有效引导模型注意力

现代深度学习模型常常通过关注不相关区域进行预测，导致性能偏差和泛化能力受限。现有的旨在纠正模型注意力的方法需要不相关区域的显式标签或复杂的像素级真实注意力图。我们提出了 CRAYON（使用是或否标注纠正推理），提供有效、可扩展且实用的解决方案，利用简单的是非标注来纠正模型注意力。CRAYON 赋能经典和现代的模型解释技术来识别和引导模型推理：CRAYON-ATTENTION 引导基于显著性图的经典解释关注相关图像区域，而 CRAYON-PRUNING 则移除由现代基于概念的方法识别出的不相关神经元，以减轻其影响。通过广泛的定量和人类评估实验，我们展示了 CRAYON 在细化模型注意力方面的有效性、可扩展性和实用性。CRAYON 实现了最先进的性能，在 3 个基准数据集上优于 12 种方法，超越了需要更复杂标注的方法。