人-LLM 对话中的用户反馈：理解用户的透镜，但作为学习信号存在噪声
计算与语言
2025-10-07 v2
摘要
语言模型 (LMs) 部署后可与用户进行长期交互，理想情况下能根据用户反馈进行演化。直接征求用户反馈可能具有干扰性；因此，我们研究从用户与 LM 的交互日志中提取隐式用户反馈。我们研究了两个用户与 LM 的交互数据集 (WildChat 和 LMSYS)。首先，我们分析了用户与 LLM 对话日志中的用户反馈，深入了解了此类反馈发生的时间和原因。其次，我们研究从此类隐式用户反馈中提取学习信号。具体而言，我们研究除了反馈的极性之外，结合用户反馈的内容（例如，用户希望澄清）是否可以提高模型性能。我们观察到结果不一，表明这在简短的人工设计问题 (MTBench) 上有帮助，但在更长、更复杂的问题 (WildBench) 上则不然。综合而言，我们对隐式用户反馈进行了深入研究，展示了其潜力与局限性。
引用
@article{arxiv.2507.23158,
title = {User Feedback in Human-LLM Dialogues: A Lens to Understand Users But Noisy as a Learning Signal},
author = {Yuhan Liu and Michael J. Q. Zhang and Eunsol Choi},
journal= {arXiv preprint arXiv:2507.23158},
year = {2025}
}
备注
EMNLP camera-ready