ThoughtTrace: 理解真实世界LLM交互中的用户思想
计算与语言
2026-05-25 v2 人工智能
摘要
对话式AI已触及数十亿用户，但现有数据集仅捕获人们说的话，而非他们的思想。我们引入ThoughtTrace，首个大规模数据集，将真实世界的多回合人类-人工智能对话与用户自报告的思想相匹配：他们发送提示的原因以及对助手响应的反应。ThoughtTrace包含1,058名用户、2,155次对话、17,058轮交互和10,174条思想标注，覆盖20种语言模型。我们的分析表明，ThoughtTrace捕获了长期视野、主题多样化的交互，思想与消息在语义上是不同的， frontier LLM难以从上下文中推断出来，内容多样且与对话阶段相关联。我们进一步证明了思想对下游建模的实用性。首先，思想作为推理时的上下文可改进用户行为预测。其次，思想引导的改写为训练个人化助手提供细粒度的对齐信号。共同地，ThoughtTrace将用户思想作为一种新的数据模态，用于研究人类-人工智能交互背后的认知动力学，为构建能够更好地理解和适应用户潜在目标、偏好和需求的助手提供了基础。
引用
@article{arxiv.2605.20087,
title = {ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions},
author = {Chuanyang Jin and Binze Li and Haopeng Xie and Cathy Mengying Fang and Tianjian Li and Shayne Longpre and Hongxiang Gu and Maximillian Chen and Tianmin Shu},
journal= {arXiv preprint arXiv:2605.20087},
year = {2026}
}
备注
53 pages, 23 figures, 4 tables. Project website: https://thoughttrace-project.github.io/