面向计算机视觉模型的人体注意力引导可解释人工智能
计算机视觉与模式识别
2023-05-08 v1 人工智能
摘要
我们研究了将人体注意力知识嵌入基于显著性的可解释 AI（XAI）计算机视觉模型方法中，能否提升其合理性与忠实度。我们首先为物体检测模型开发了基于梯度的新 XAI 方法，通过扩展当前图像分类模型的方法生成物体特异性解释。有趣的是，这些基于梯度的方法在解释图像分类模型时表现良好，但当用于解释物体检测模型时，所得显著图在执行相同任务时总体忠实度低于人体注意力图。随后我们开发了人体注意力引导 XAI（HAG-XAI），利用可训练激活函数与平滑核，从人体注意力中学习如何最佳组合模型的解释信息，以最大化 XAI 显著图与人体注意力图的相似度，从而提升解释合理性。对于图像分类模型，HAG-XAI 以牺牲忠实度为代价提升了合理性；而对于物体检测模型，它同时提升了合理性与忠实度，并优于现有方法。所学函数具有模型特异性，且能很好地泛化到其他数据库。
引用
@article{arxiv.2305.03601,
title = {Human Attention-Guided Explainable Artificial Intelligence for Computer Vision Models},
author = {Guoyang Liu and Jindi Zhang and Antoni B. Chan and Janet H. Hsiao},
journal= {arXiv preprint arXiv:2305.03601},
year = {2023}
}
备注
14 pages, 18 figures