解释性交互中的人为认知偏差：会话内与会话间顺序效应的案例

解释性交互学习（XIL）是一种强大的交互式学习框架，旨在通过与模型解释进行交互，使用户能够定制和纠正 AI 模型。简言之，XIL 算法选取 AI 模型做出决策的若干样本（如图像及其标签）并呈现给用户，同时提供对应的解释（如驱动模型决策的图像区域）。随后，用户对解释提供纠正性反馈，算法利用该反馈改进模型。尽管在调试任务中展现出前景，但近期研究引发了对解释性交互可能触发顺序效应的担忧——顺序效应是一种已知的认知偏差，即呈现项目的顺序会影响用户的信任度，并关键地影响其反馈质量。我们认为这些研究尚无定论，因为其实验设计和任务与常见的 XIL 用例存在显著差异，使得解读复杂化。为阐明顺序效应与解释性交互之间的相互作用，我们开展了两项更大规模的用户研究（n = 713），旨在模拟常见的 XIL 任务。具体而言，我们通过操纵正确与错误解释的呈现顺序，在调试会话内和会话间分别评估了顺序效应。顺序效应对用户与模型的一致性（即信任的行为度量）产生了有限的、但显著的影响，且仅在调试会话内而非会话间被观察到。用户反馈质量总体令人满意，顺序效应在两个实验中仅产生了微小且不一致的影响。总体而言，我们的发现表明顺序效应并非成功运用 XIL 方法的重大障碍。更广泛地，我们的工作为理解 AI 中的人因因素做出了贡献。