单模型众多心智：基于贝叶斯的转换器实现人口多样性
机器学习
2026-01-19 v2 计算与语言
摘要
尽管现代转换器规模巨大且取得了显著成功，但通常被训练为单一目标的系统：优化产生确定性的参数集合，代表了对数据的单一功能假设。为了类比人类群体，其中群体层次的智力从多样化的个体行为中涌现而来，我们提出了Population Bayesian Transformers (B-Trans)，通过对单个预训练大型语言模型实现采样 diverse yet 连贯的转换器大型语言模型实例（以下简称为“心智”），从而实现人口多样性。B-Trans通过在归一化层中注入随机性来引入贝叶斯-inspired后验代理，从而避免了对完整贝叶斯神经网络的高额训练成本。从该代理进行采样可获得在保持一般能力的同时具备多样化行为特征的群体。在每一次响应生成期间，我们从随机分布中采样单个实现并固定其，从而确保时间一致性和推理连贯性。在零样生成和可验证奖励强化学习(RLVR)实验中，B-Trans有效地利用了随机模型的多样性，实现了卓越的响应多样性，同时在任务性能上优于确定性基线。
引用
@article{arxiv.2512.25063,
title = {Many Minds from One Model: Bayesian-Inspired Transformers for Population Diversity},
author = {Diji Yang and Yi Zhang},
journal= {arXiv preprint arXiv:2512.25063},
year = {2026}
}