AI,拿走方向盘:什么驱动了人机协作问答中的委派与信任?
人工智能
2026-05-28 v1 计算与语言
人机交互
摘要
AI 系统会出错,人类也可能在决定是否信任 AI 而非凭自己的判断时出错。因此,提高人机协作效果需要理解人类何时、为何以及如何决定依赖 AI。我们研究了两种不同的依赖决策:委派选择——决定在不知道其输出的情况下让 AI 自主行动;采用选择——评估 AI 的建议并决定如何使用它们。这两种解耦的依赖模式都影响协作,但以往工作很少在真实环境中对同一组用户进行这种组合研究。我们通过研究在问答游戏中进行的协作人类-AI 团队来弥补这一差距,在该游戏中,人类可以选择何时以及如何与 AI 代理合作以获胜。我们的 24 场比赛将 23 名专家人类与 16 个 AI 代理配对,涵盖 387 项委派决策和 1440 项采用决策。尽管人类-AI 协作的表现优于单独的 AI 或人类,但人类会做出次优的协作决策,既低估正确的 AI 建议(仅 3.9% 的机会被忽略),也高估 AI 误导时的依赖(1.7%)。双方都提供了错误答案:当人类和 AI 不一致时,报告的模型置信度接近随机;当 AI 建议与人类最初的错误答案一致时,确认偏差导致更高的低依赖(64.5%)。为弥补这一差距,我们建议采用校准的置信度、以证据为依据的解释,以及帮助用户细化信任的机制。
引用
@article{arxiv.2605.28255,
title = {AI, Take the Wheel: What Drives Delegation and Trust in Human-Computer Cooperative Question Answering?},
author = {Maharshi Gor and Yoo Yeon Sung and Yu Hou and Eve Fleisig and Irene Ying and Tianyi Zhou and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:2605.28255},
year = {2026}
}
备注
Findings of the Association for Computational Linguistics, 2026