用于群体仿真的角色混合语言模型
机器学习
2025-04-08 v1 计算与语言
摘要
大型语言模型（LLM）的进步为其在各个领域的新兴应用铺平了道路，例如人类行为仿真，在这些应用中，LLM 可以增强社会科学研究和机器学习模型训练中由人类生成的数据。然而，预训练的 LLM 往往无法捕捉目标群体的行为多样性，因为个体和群体之间存在固有的差异性。为了解决这个问题，我们提出了角色混合（Mixture of Personas, MoP），这是一种概率提示方法，能够将 LLM 的响应与目标群体对齐。MoP 是一个上下文混合模型，其中每个组件都是一个由角色和代表子群体行为的示例所表征的 LM 智能体。在仿真过程中，根据学习到的混合权重随机选择角色和示例，以激发多样化的 LLM 响应。MoP 灵活、无需模型微调，并且可跨基础模型迁移。合成数据生成的实验表明，MoP 在对齐度和多样性指标上优于竞争方法。
引用
@article{arxiv.2504.05019,
title = {Mixture-of-Personas Language Models for Population Simulation},
author = {Ngoc Bui and Hieu Trung Nguyen and Shantanu Kumar and Julian Theodore and Weikang Qiu and Viet Anh Nguyen and Rex Ying},
journal= {arXiv preprint arXiv:2504.05019},
year = {2025}
}