人类对基于 AI 的决策支持系统的响应：一项关于准确性与偏差影响的用户研究
人工智能
2022-03-30 v1 人机交互
机器学习
摘要
人工智能（AI）正日益被用于构建跨多个领域的决策支持系统（DSS）。本文描述了一系列实验，旨在观察人类对 DSS 不同特征（如准确性和偏差）的响应，特别是参与者对 DSS 的依赖程度及其所达成的绩效。在我们的实验中，参与者玩一个受所谓“野猫式”（即探索性）石油钻探启发的简单在线游戏。地貌有两层：描述成本（地形）的可见层，以及描述回报（石油产量）的隐藏层。对照组参与者在无任何协助下玩游戏，而处理组则由一个建议钻探地点的 DSS 协助。对于某些处理，DSS 不考虑成本而仅考虑回报，这引入了用户可观察到的偏差。我们在受试者间变化 DSS 的准确性和偏差，并观察参与者的总分、完成时间、遵循或忽略建议的程度。我们还在退出调查中衡量了 DSS 的可接受性。我们的结果表明，参与者在 DSS 辅助下往往得分更高，分数提升源于用户遵循 DSS 建议，并与游戏难度和 DSS 准确性相关。我们观察到该设定主要引发参与者的理性行为，他们对 DSS 抱有适度信任，既未表现出算法厌恶（依赖不足）也未表现出自动化偏差（过度依赖）。然而，他们在退出调查中陈述的接受 DSS 的意愿似乎不如其行为对 DSS 准确性敏感，表明用户仅部分意识到 DSS 的（不）准确性。
引用
@article{arxiv.2203.15514,
title = {Human Response to an AI-Based Decision Support System: A User Study on the Effects of Accuracy and Bias},
author = {David Solans and Andrea Beretta and Manuel Portela and Carlos Castillo and Anna Monreale},
journal= {arXiv preprint arXiv:2203.15514},
year = {2022}
}