对话长度如何影响用户满意度？基于LLM驱动聊天机器人长度控制对话的案例研究
人机交互
2024-04-29 v1
摘要
用户可以与大型语言模型（LLM）讨论广泛的话题，但他们并不总是偏好通过冗长的对话来解决问题或获取信息。这引发了一个有趣的人机交互（HCI）问题：指示LLM进行更长或更短的对话会如何影响对话质量？在本文中，我们开发了两个具备改变对话长度能力的 Slack 聊天机器人（基于 GPT-4），并进行了一项用户研究。参与者向聊天机器人提出了高对话性和低对话性的问题，并进行了 0、3、5 和 7 个对话轮次的对话。我们发现，不同条件下的对话质量没有显著差异，而参与者的反应褒贬不一。我们的研究证明了 LLM 改变对话长度的能力以及这种改变给用户带来的潜在益处，但我们提醒，文本形式的变化未必意味着质量或内容的变化。
引用
@article{arxiv.2404.17025,
title = {How Does Conversation Length Impact User's Satisfaction? A Case Study of Length-Controlled Conversations with LLM-Powered Chatbots},
author = {Shih-Hong Huang and Ya-Fang Lin and Zeyu He and Chieh-Yang Huang and Ting-Hao 'Kenneth' Huang},
journal= {arXiv preprint arXiv:2404.17025},
year = {2024}
}