大语言模型是所有角色的叠加态：通过自对齐实现任意角色扮演
计算与语言
2024-01-24 v1 机器学习
摘要
人们投入了大量精力，通过模仿专有模型来增强开源大语言模型 (LLM) 的角色扮演能力。然而，我们认为，由于在庞大的训练语料库中蕴含了丰富的角色知识和潜在对话，LLM 本身即具备角色扮演能力。因此，在本研究中，我们引入了 Ditto，一种用于角色扮演的自对齐方法。Ditto 利用角色知识，鼓励遵循指令的 LLM 将模拟角色扮演对话作为阅读理解的一种变体。该方法创建了一个包含 4,000 个角色的角色扮演训练集，在角色数量上比现有可用数据集高出十倍。随后，我们使用这个自生成的数据集对 LLM 进行微调，以增强其角色扮演能力。在我们精心构建且可复现的角色扮演基准测试以及 MT-Bench 的角色扮演子集上进行评估时，不同参数规模的 Ditto 在多轮角色扮演对话中，始终能保持一致的的角色身份，并提供准确的特定角色知识。值得注意的是，它优于所有开源角色扮演基线模型，展现出与先进专有聊天机器人相当的性能水平。此外，我们首次在角色扮演领域进行了全面的交叉监督对齐实验，揭示了 LLM 的内在能力限制了角色扮演中的知识边界。同时，角色扮演风格可以在较小模型的指导下轻松习得。我们在 https://github.com/OFA-Sys/Ditto 开源了相关资源。
引用
@article{arxiv.2401.12474,
title = {Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment},
author = {Keming Lu and Bowen Yu and Chang Zhou and Jingren Zhou},
journal= {arXiv preprint arXiv:2401.12474},
year = {2024}
}