不确定性下用户对 AI 信任的历时视角
计算与语言
2023-10-23 v1 人机交互
摘要
在人-AI 协作中，用户基于 AI 系统的可靠性及其决策呈现方式（例如系统置信度的呈现与输出的解释）构建关于该系统的心智模型。现代 NLP 系统常常未经过校准，导致出现自信的错误预测，从而削弱用户信任。为构建可信赖的 AI，我们必须理解用户信任如何形成，以及其在潜在的侵蚀信任事件后如何重建。我们利用一个下注博弈研究用户信任对这些侵蚀信任事件的演化响应。我们发现，即便少数带有不准确置信度估计的错误实例也会损害用户信任与表现，且恢复极为缓慢。我们还表明，这种信任退化降低了人-AI 协作的成功率，并且不同类型的未校准——不自信的正确与自信的错误——对用户信任具有不同的负面影响。我们的发现凸显了在面向用户的 AI 应用中校准的重要性，并阐明了哪些方面的因素有助于用户决定是否信任 AI 系统。
引用
@article{arxiv.2310.13544,
title = {A Diachronic Perspective on User Trust in AI under Uncertainty},
author = {Shehzaad Dhuliawala and Vilém Zouhar and Mennatallah El-Assady and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2310.13544},
year = {2023}
}
备注
EMNLP 2023, 14 pages (8+6)