用于量化人类对 AI 推荐信任的响应偏移范式
人机交互
2022-02-21 v1 人工智能
机器学习
摘要
可解释性、可解读性以及它们在多大程度上影响人类对 AI 系统的信任，归根结底既是机器学习问题也是人类认知问题，然而 AI 推荐的有效性及终端用户所赋予的信任通常未得到定量评估。我们开发并验证了一种通用的人机交互范式，用于量化 AI 推荐对人类决策的影响。在我们的范式中，我们让人类用户面对定量预测任务：先要求其给出首次响应，再让其面对 AI 的推荐（及解释），然后要求人类用户提供更新后的最终响应。最终与首次响应之间的差异构成人类决策中的偏移或摇摆，我们将其用作 AI 推荐对人类影响的度量，代表人类对 AI 所放置的信任。我们通过 Amazon Mechanical Turk 在数百名用户上评估了该范式，采用多分支实验让用户面对具有良好/较差可解释性的优良/糟糕 AI 系统。我们的概念验证范式使人们能够根据对终端用户的影响定量比较快速增长的一批 XAI/IAI 方法，并开启了（机器）学习信任的可能性。
引用
@article{arxiv.2202.08979,
title = {The Response Shift Paradigm to Quantify Human Trust in AI Recommendations},
author = {Ali Shafti and Victoria Derks and Hannah Kay and A. Aldo Faisal},
journal= {arXiv preprint arXiv:2202.08979},
year = {2022}
}