CoAuthor：设计人机协作写作数据集以探索语言模型能力
人机交互
2022-01-26 v2 计算与语言
摘要
大语言模型（LM）提供了前所未有的语言生成能力与令人振奋的交互设计机遇。然而，其高度依赖于上下文的能力难以把握，且常被主观解读。在本文中，我们主张通过整理与分析大规模交互数据集，HCI 社区可促进对 LM 生成能力更具洞察力的审视。作为该方法的示例，我们提出 CoAuthor，一个旨在揭示 GPT-3 在辅助创意与论证写作方面能力的数据集。CoAuthor 捕获了 63 位写作者与四个 GPT-3 实例在 1445 次写作会话中的丰富交互。我们证明 CoAuthor 能够解答有关 GPT-3 语言、构思与协作能力的问题，并揭示其作为写作“协作者”在不同良好协作定义下的贡献。最后，我们讨论本工作如何推动围绕 LM 在交互设计中的前景与隐患展开更严谨的讨论。该数据集与用于回放写作会话的界面已公开于 https://coauthor.stanford.edu。
引用
@article{arxiv.2201.06796,
title = {CoAuthor: Designing a Human-AI Collaborative Writing Dataset for Exploring Language Model Capabilities},
author = {Mina Lee and Percy Liang and Qian Yang},
journal= {arXiv preprint arXiv:2201.06796},
year = {2022}
}
备注
Published as a conference paper at CHI 2022