真实场景中基于大语言模型辅助写作的人机协作原型行为研究
计算与语言
2025-06-24 v3 人机交互
摘要
随着大语言模型（LLMs）被用于复杂的写作工作流，用户会进行多轮交互，以引导生成内容更好地满足其需求。用户并非被动接受输出，而是积极地完善、探索和共同构建文本。我们对使用两款流行AI助手（Bing Copilot 和 WildChat）在真实场景中从事写作任务的用户的这种协作行为进行了大规模分析。我们的分析超越了先前工作中常见的简单任务分类或满意度评估，转而刻画用户在整个会话过程中如何与LLMs交互。我们识别了用户在初始请求之后的提示中与LLMs交互的原型行为。我们将这些行为称为人机协作原型行为（PATHs），并发现一小部分PATHs能够解释用户与LLM交互中观察到的大部分差异。这些PATHs涵盖了用户修改意图、探索文本、提出问题、调整风格或注入新内容等行为。此外，我们发现特定的写作意图与PATHs之间存在统计上显著的相关性，揭示了用户意图如何塑造其协作行为。最后，我们讨论了研究发现对大语言模型对齐的启示。
引用
@article{arxiv.2505.16023,
title = {Prototypical Human-AI Collaboration Behaviors from LLM-Assisted Writing in the Wild},
author = {Sheshera Mysore and Debarati Das and Hancheng Cao and Bahareh Sarrafzadeh},
journal= {arXiv preprint arXiv:2505.16023},
year = {2025}
}
备注
Pre-print under-review