中文

个性化大语言模型:为不同用户的相同查询生成定制化响应

计算与语言 2025-08-18 v2

摘要

现有的大语言模型(LLM)个性化工作为LLM分配了不同的响应角色,但忽略了查询者的多样性。在这项工作中,我们提出了一种新形式的查询者感知的LLM个性化,即为不同查询者的相同查询生成不同的响应。我们设计了一个双塔模型架构,包含一个跨查询者通用编码器和一个查询者特定编码器。我们进一步应用了多视角增强的对比学习,拉近同一查询者的对话表示,同时拉远不同查询者的对话表示。为了减轻查询多样性对查询者对比学习的影响,我们基于查询相似性对对话进行聚类,并将对比学习的范围限制在每个聚类内。为了解决缺乏为查询者感知个性化设计的数据集的问题,我们还从英文和中文剧本以及微信记录中构建了一个多查询者数据集,称为MQDialog,包含173个查询者和12个响应者。大量评估表明,我们的设计显著提高了个性化响应生成的质量,与各种基线方法相比,ROUGE-L分数相对提高了8.4%至48.7%,胜率在54%至82%之间。

关键词

引用

@article{arxiv.2412.11736,
  title  = {Personalized LLM for Generating Customized Responses to the Same Query from Different Users},
  author = {Hang Zeng and Chaoyue Niu and Fan Wu and Chengfei Lv and Guihai Chen},
  journal= {arXiv preprint arXiv:2412.11736},
  year   = {2025}
}

备注

Accepted by CIKM'25