采用 $\neq$ 适应:野外 LLM 对话的纵向分析
人工智能
2026-05-29 v1 计算与语言
摘要
尽管日益增长的研究开始描述用户与大语言模型 (LLM) 之间的交互,但所呈现的图景主要是静态的;鲜有人了解单个用户随时间如何变化。为填补这一空白,我们分析了约 12,000 名随机抽样的 Microsoft Bing Copilot 用户的对话轨迹,并将其与来自 WildChat-4.8M 的数据进行比较。虽然 Copilot 数据包含显著的群体水平趋势,但我们发现单个用户轨迹中的趋势要弱得多;用户习惯证明具有极强的黏性。我们还发现不同活动水平用户之间存在显著差异:活跃用户拥有更多成功的对话,并用于更复杂且更专业的任务。某些用户趋势也出现在 WildChat-4.8M 中,但我们发现该数据集明显偏向高度专业的“权威”用户。最终,我们的结果表明现有的 用户行为难以改变,并展示了用户之间的极大异质性。我们在数据集之间的比较表明,WildChat 不代表典型的用户-人工智能交互,这一点对于数据集的下游用途是一个重要的局限性。
引用
@article{arxiv.2605.29018,
title = {Adopt $\neq$ Adapt: Longitudinal Analyses of LLM Conversations in the Wild},
author = {Rebecca M. M. Hicke and Kiran Tomlinson},
journal= {arXiv preprint arXiv:2605.29018},
year = {2026}
}