利用对齐重要性热图解释人类比较任务
计算机视觉与模式识别
2024-09-26 v1 人工智能
摘要
我们提出了一种用于人类比较任务的计算可解释性方法，使用源自深度视觉模型的对齐重要性得分（AIS）热图。AIS 反映了特征图对深度神经网络（DNN）表征几何与人类表征几何之间对齐的独特贡献。我们首先验证了 AIS，结果表明，当仅使用从训练集中识别出的高 AIS 分特征图来构建表征时，对样本外人类相似性判断的预测得到了改善。然后，我们计算了特定于图像的热图，这些热图直观地指示了与具有较高 AIS 分的特征图相对应的区域。这些地图为比较过程中哪些图像区域更为重要提供了直观的解释。我们观察到这些热图与注视预测模型生成的显著性图之间存在对应关系。然而，在某些情况下会出现有意义的差异，因为与比较相关的维度并不一定是最具视觉显著性的。总而言之，对齐重要性改善了基于 DNN 嵌入对人类相似性判断的预测，并为图像空间中的相关信息提供了可解释的见解。
引用
@article{arxiv.2409.16292,
title = {Explaining Human Comparisons using Alignment-Importance Heatmaps},
author = {Nhut Truong and Dario Pesenti and Uri Hasson},
journal= {arXiv preprint arXiv:2409.16292},
year = {2024}
}