采纳、舍弃或修正：衡量人机协作中的生产力与信任
人机交互
2024-04-03 v2
摘要
尽管生成式 AI 的最新发展极大地增强了诸如 Google 的 Gemini（前身为 Bard）或 OpenAI 的 ChatGPT 等对话代理的能力，但尚不清楚这些代理的使用是否在各种情境下都能帮助用户。为了更好地了解访问对话式 AI 如何影响生产力和信任，我们进行了一项混合方法、基于任务的用户研究，观察了 76 名软件工程师（N=76）在有和没有访问 Bard 的情况下完成编程考试的情况。对绩效、效率、满意度和信任的影响因用户专业知识、问题类型（开放式“解决”与确定性“搜索”问题）和测量类型（演示与自报）而异。我们的发现包括自动化自满的证据、任务过程中对 AI 依赖性的增加，以及新手在使用 AI 处理“解决”类问题时绩效的提高。我们讨论了常见行为、设计建议和影响考量，以改善与对话式 AI 的协作。
引用
@article{arxiv.2402.18498,
title = {Take It, Leave It, or Fix It: Measuring Productivity and Trust in Human-AI Collaboration},
author = {Crystal Qian and James Wexler},
journal= {arXiv preprint arXiv:2402.18498},
year = {2024}
}
备注
15 pages. Published in the 29th International Conference on Intelligent User Interfaces (IUI '24)