评估基于显著性的深度学习模型解释在时间色彩恒常性任务中的忠实性
计算机视觉与模式识别
2022-11-16 v1 机器学习
摘要
深度学习模型的不可解释性制约了其调试与改进。为深度模型添加基于显著性的策略（如注意力机制）被认为有助于更好地理解黑盒模型的决策过程。然而，近期一些工作在自然语言处理（NLP）领域对显著性的忠实性提出了质疑，怀疑注意力权重是否真正符合模型的真实决策过程。我们首次将这一讨论扩展到视频处理任务中的模型内显著性忠实性评估，具体针对时间色彩恒常性。我们通过将近期NLP文献中的两种忠实性测试方法适配到目标任务来进行评估，并在贡献中对方法论进行了改进。我们表明注意力机制未能实现忠实性，而置信度（一种特定的模型内视觉显著性）则成功做到了。
引用
@article{arxiv.2211.07982,
title = {Evaluating the Faithfulness of Saliency-based Explanations for Deep Learning Models for Temporal Colour Constancy},
author = {Matteo Rizzo and Cristina Conati and Daesik Jang and Hui Hu},
journal= {arXiv preprint arXiv:2211.07982},
year = {2022}
}