RAGs to Riches：面向大语言模型角色扮演的类 RAG 少样本学习
计算与语言
2025-09-16 v1 人工智能
摘要
角色扮演大语言模型（LLM）正日益广泛地部署于医疗保健、教育和治理等高风险领域，在这些领域中，失败会直接影响用户的信任与福祉。LLM 角色扮演的一种高性价比范式是少样本学习，但现有方法常导致模型以意想不到且可能有害的方式脱离角色，尤其是在与敌意用户交互时。受检索增强生成（Retrieval-Augmented Generation, RAG）启发，我们将 LLM 角色扮演重新表述为文本检索问题，并提出了一种名为 RAGs-to-Riches 的新型提示框架，该框架利用精选的参考示例来约束 LLM 的响应。我们使用 LLM-as-a-judge 偏好投票评估了我们的框架，并引入了两个新颖的 token 级别 ROUGE 指标：输出交并比（Intersection over Output, IOO）用于量化 LLM 即兴发挥的程度，以及参考交并比（Intersection over References, IOR）用于衡量评估任务中少样本示例的利用率。在模拟与敌意用户的交互时，我们的提示策略在推理期间的响应中平均多融入了 35% 来自参考示例的 token。因此，在 453 次角色扮演交互中，我们的模型被一致判定为更具真实性，并且比零样本和上下文学习（In-Context Learning, ICL）方法更频繁地保持角色特征。我们的方法为构建稳健的、符合人类价值观的 LLM 角色扮演框架提供了一种可扩展策略。
引用
@article{arxiv.2509.12168,
title = {RAGs to Riches: RAG-like Few-shot Learning for Large Language Model Role-playing},
author = {Timothy Rupprecht and Enfu Nan and Arash Akbari and Arman Akbari and Lei Lu and Priyanka Maan and Sean Duffy and Pu Zhao and Yumei He and David Kaeli and Yanzhi Wang},
journal= {arXiv preprint arXiv:2509.12168},
year = {2025}
}