通过 LLM 驱动的即时用户体验访谈理解大型语言模型的用户意见
计算与语言
2025-06-11 v2 人工智能
人机交互
摘要
哪个大型语言模型 (LLM) 更好？每一次评估都讲述一个故事，但用户真正对当前 LLM 有什么看法呢？本文提出了 CLUE，一个由 LLM 驱动的访谈者，可在用户与 LLM 交互后立即进行用户体验访谈，并自动从大量访谈日志中收集关于用户意见的见解。我们组织了数千名用户的研究，以了解对主流 LLM 的用户意见，招募用户首先与目标 LLM 交谈，然后由 CLUE 进行访谈。我们的实验表明，CLUE 捕捉到了有趣的用户意见，例如对 DeepSeek-R1 显示推理过程的两极性看法，以及对信息新鲜度和多模态性的需求。我们的代码和数据位于 https://github.com/cxcscmu/LLM-Interviewer。
引用
@article{arxiv.2502.15226,
title = {Understand User Opinions of Large Language Models via LLM-Powered In-the-Moment User Experience Interviews},
author = {Mengqiao Liu and Tevin Wang and Cassandra A. Cohen and Sarah Li and Chenyan Xiong},
journal= {arXiv preprint arXiv:2502.15226},
year = {2025}
}