基于 Persona-Aware 对比学习提升 LLM 角色扮演中的人物一致性
计算与语言
2025-03-26 v2
摘要
近年来，大语言模型 (LLM) 在众多对话生成任务中取得了突破性进展。然而，其缺乏情感和细粒度角色意识，限制了模型在提供个性化和多样化交互方面的能力。当前方法在角色扮演等场景收集高质量标注数据的成本高，而传统的人类对齐方法因模型在角色扮演场景下行为的内在多样性难以部署。灵感来自通过 RLHF（强化学习从人类反馈）对模型安全行为进行对齐，本文从人物对齐视角重新审视模型角色扮演行为，提出一种 novel 的无标注框架，称为 Persona-Aware 对比学习 (PCL)，以对齐 LLM 在角色扮演期间的行为，提升模型的角色一致性。具体而言，我们首先设计一种角色链方法，鼓励模型基于角色特征和对话上下文自我提问，以调整人格一致性。随后，我们通过角色特征与非角色特征之间的迭代对比学习，进一步增强模型的角色扮演策略。在黑箱和白箱 LLM 上的实验表明，配备 PCL 的 LLM 在自动评估方法 (CharEval 与 GPT-4) 和人类专家评估中均显著优于基础 LLM。
引用
@article{arxiv.2503.17662,
title = {Enhancing Persona Consistency for LLMs' Role-Playing using Persona-Aware Contrastive Learning},
author = {Ke Ji and Yixin Lian and Linxu Li and Jingsheng Gao and Weiyuan Li and Bin Dai},
journal= {arXiv preprint arXiv:2503.17662},
year = {2025}
}
备注
18 pages, 4 figures