Show or Tell？探讨人类-LLM 对话中请求行为的演化
计算与语言
2025-10-09 v2 人机交互
摘要
设计以用户为中心的 LLM 系统需要理解人们如何使用它们，但查询模式往往被掩盖。本文引入一种新框架来描述请求行为，将用户输入划分为请求内容、分配的角色、查询特定的上下文以及剩余的任务无关表达。我们将该框架应用于野生聊天数据集中 21.1 万条真实查询的创建与分析。与类似的人类-人类情境相比，我们发现人类-LLM 场景下的请求语言存在显著差异。进一步地，我们提出了一种新颖且关键的历时分析视角，通过用户表达揭示了超越单个任务完成的基本和习惯性用户-LLM 交互模式。我们发现，查询模式从早期强调单一请求转向后期组合更多上下文，个体用户探索表达模式但倾向于随经验增加而趋同。基于此，我们提出理解不同任务下表达的共性趋势，并讨论初步发现。最后，我们讨论了对用户研究、计算语义学和 LLM 对齐的关键含义。
引用
@article{arxiv.2508.01213,
title = {Show or Tell? Modeling the evolution of request-making in Human-LLM conversations},
author = {Shengqi Zhu and Jeffrey M. Rzeszotarski and David Mimno},
journal= {arXiv preprint arXiv:2508.01213},
year = {2025}
}