评估解释对用户心理模型影响：视觉问答系统的错觉能力
计算与语言
2025-06-24 v2
摘要
我们考察用户如何感知 AI 系统在遇到无法完美完成任务时的局限性，以及在答案旁提供解释是否帮助用户构建适当的系统能力与局限性心理模型。我们采用视觉问答与解释任务，通过操控视觉输入来控制 AI 系统的局限性：在推理期间，系统要么处理彩色图像，要么处理灰度图像。我们的目标是确定参与者是否能够感知系统的局限性。我们假设解释会使有限 AI 能力更透明。然而，我们的结果显示，解释并不具有此效果。相反地，无论系统的实际性能如何，解释通常会增加用户对系统能力的感知——这表明解释并未帮助用户更准确地评估 AI 系统的局限性。
引用
@article{arxiv.2406.19170,
title = {The Illusion of Competence: Evaluating the Effect of Explanations on Users' Mental Models of Visual Question Answering Systems},
author = {Judith Sieker and Simeon Junker and Ronja Utescher and Nazia Attari and Heiko Wersing and Hendrik Buschmeier and Sina Zarrieß},
journal= {arXiv preprint arXiv:2406.19170},
year = {2025}
}
备注
17 pages (including Appendix). Accepted at EMNLP 2024 main