理解用户对ChatGPT回复的不满：类型、解决策略与知识水平的影响

具有聊天能力的大型语言模型（LLMs），如ChatGPT，在各种工作流中被广泛使用。然而，由于对这些大规模模型理解有限，用户难以使用该技术并经历不同类型的不满。研究者已引入若干方法，如提示工程，以改善模型回复。但他们聚焦于提升模型在特定任务中的表现，关于如何处理由模型回复引起的用户不满则鲜有研究。因此，以ChatGPT为案例，我们考察用户的不满及其应对不满的策略。基于文献综述将用户对LLM的不满组织为七类后，我们从107名用户收集了511例不满意的ChatGPT回复及其对不满体验的详细回忆，并将其发布为公开数据集。我们的分析揭示，当ChatGPT未能把握用户意图时，用户最常经历不满，而他们评定与准确性相关的不满严重度最高。我们还识别了用户用以应对不满的四种策略及其有效性。我们发现用户常不使用任何策略应对不满，即便使用策略，72%的不满仍未解决。此外，我们发现LLM知识水平低的用户往往在准确性上面临更多不满，同时常付出最小努力应对不满。基于这些发现，我们提出最小化用户不满并提升基于聊天的LLM可用性的设计启示。