探索XAI中的信任校准——向非专业用户暴露模型局限性的影响

信任校准——使用户信任判断与模型能力相一致——对于可解释AI（XAI）的安全部署至关重要，但往往通过脱离客观性能证据的全局信任评级来评估。我们提出了一项预注册的、带激励的被试间在线研究（N=418的英国代表性样本），基于可解释的皮肤病变分类，将期望设定与体验到的性能分离开来。参与者使用固定的XAI面板（恶性评分、可靠性评分和显著性图）完成了15次病例评估。我们系统地操纵了五种实验性新手引导条件，这些条件在基于示例的信息和局限性披露方面有所不同，并搭配了五种自然改变观测预测质量的刺激包。校准被操作化为与信任相关的判断（TAIS和逐病例评级）与所遇病例的客观性能基准之间的偏差，并采用分层混合效应模型进行分析。仅有针对逐病例测量的局限性披露能可靠地影响信任校准，且短期体验并未带来渐进式校准。此外，所体验的刺激包解释的方差远多于实验操纵。然而，参与者难以区分逐病例感知信任、可信度与准确性估计。我们讨论了对局限性沟通设计以及对XAI评估中校准指标测量与分析的影响。本研究的所有研究材料与数据均公开可用，以供复现及进一步学术使用。