从猜测到询问：解决 LLM 在多轮对话中人格知识差距的方法
计算与语言
2025-03-18 v1 人工智能
摘要
在多轮对话中，大语言模型（LLM）面临确保自洫性同时适应用户特定信息的关键挑战。这一研究提出了人格知识差距，即模型内部理解与维持连贯性、个性化对话所需知识之间的差异。尽管已有研究认识到这些差距，但其识别和解决的计算方法仍鲜有探索。我们提出了对话偏好挖掘与推荐（CPER），一种新型框架，可动态检测和解决人格知识差距，利用内在不确定性量化和反馈驱动的细化。CPER 包含三个关键模块：用于偏好提取的情境理解模块、用于衡量不确定性并细化人格对齐的动态反馈模块，以及基于累积用户上下文进行人格驱动响应生成的模块。我们在两个真实世界数据集上评估了 CPER：CCPE-M 用于偏好电影推荐，ESConv 用于心理健康支持。通过 A/B 测试，人类评估者在 CCPE-M 上更喜欢 CPER 的响应 42%，在 ESConv 上更喜欢 27%。定性的人类评估确认，CPER 的响应在维持上下文相关性和连贯性方面受到青睐，尤其是在更长的（12+ 回合）对话中。
引用
@article{arxiv.2503.12556,
title = {From Guessing to Asking: An Approach to Resolving the Persona Knowledge Gap in LLMs during Multi-Turn Conversations},
author = {Sarvesh Baskar and Tanmay Tulsidas Verelakar and Srinivasan Parthasarathy and Manas Gaur},
journal= {arXiv preprint arXiv:2503.12556},
year = {2025}
}
备注
12 pages, 1 Figure, Oral Presentation at NAACL 2025