利用注意力导向的反事实编辑改善用户心智模型
计算机视觉与模式识别
2021-10-19 v2 人工智能
人机交互
摘要
在视觉问答(VQA)领域，研究表明当用户接触到这些系统如何回答某些图像-问题(IQ)对的示例时，其对VQA系统的心智模型得到改善。在本工作中，我们表明，与仅展示随机示例相比，展示受控的反事实图像-问题示例能更有效地改善用户的心智模型。我们比较了生成式方法与基于检索的方法来展示反事实示例。我们利用生成对抗网络(GANs)的最新进展，通过删除并修复图像中某些感兴趣区域来生成反事实图像。然后让用户接触VQA系统在这些改动图像上答案的变化。为选择修复的感兴趣区域，我们尝试了使用人工标注的注意力图以及一种利用VQA系统注意力值的全自动方法。最后，我们通过要求用户预测模型在测试反事实图像上的表现来测试用户的心智模型。我们注意到，当展示反事实解释时，用户预测答案变化的准确率整体提高。虽然真实检索的反事实显然对改善心智模型最有效，我们表明生成式方法同样可以同样有效。
引用
@article{arxiv.2110.06863,
title = {Improving Users' Mental Model with Attention-directed Counterfactual Edits},
author = {Kamran Alipour and Arijit Ray and Xiao Lin and Michael Cogswell and Jurgen P. Schulze and Yi Yao and Giedrius T. Burachas},
journal= {arXiv preprint arXiv:2110.06863},
year = {2021}
}
备注
Accepted for publication in Applied AI Letters