比较激进型与谨慎型 AI 推荐在真实人机协作任务中的表现
人机交互
2024-10-17 v1 人工智能
计算机视觉与模式识别
摘要
在设计 AI 辅助决策系统时，人类与 AI 之间的精确率与召回率之间常存在权衡。我们认为，谨慎地利用这一权衡可显著提升团队性能。我们研究了一个以召回率为关键指标的真实视频匿名化任务。分析了 78 名专业标注员在三种情境下的表现：a) 无 AI 辅助，b) 高精确率“谨慎型”AI，c) 高召回率“激进型”AI，共计超过 3466 人小时。结果显示，激进型 AI 帮助团队实现了显著缩短的任务完成时间和更高的召回率。在随后的研究中，我们移除所有 AI 辅助，发现与谨慎型 AI 训练的标注员出现了负面训练效应。这些发现及分析指向了召回率需求场景下 AI 辅助设计的重要含义。
引用
@article{arxiv.2410.11860,
title = {Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task},
author = {Chengyuan Xu and Kuo-Chin Lien and Tobias Höllerer},
journal= {arXiv preprint arXiv:2410.11860},
year = {2024}
}
备注
15 pages, 14 figures, accepted to ACM CHI 2023