CuMA：通过人口统计感知的适配器混合体使大语言模型与稀疏文化价值观对齐
计算与语言
2026-01-09 v1 人工智能
机器学习
摘要
随着大语言模型(LLM)服务于全球用户，对齐必须从强制执行普遍共识转向尊重文化多元主义。我们证明，密集模型在被强制拟合冲突的价值分布时，会遭受均值崩溃，收敛到无法代表不同群体的通用平均值。我们将其归因于文化稀疏性，其中梯度干扰阻止密集参数跨越不同的文化模式。为了解决这个问题，我们提出了 CuMA（文化适配器混合体），一个将对齐框架化为条件容量分离问题的框架。通过引入人口统计感知路由，CuMA 内化了一个潜在文化拓扑，以明确地将冲突梯度解耦到专门的专家子空间中。在 WorldValuesBench、Community Alignment 和 PRISM 上的广泛评估表明，CuMA 达到了最先进的性能，显著优于密集基线和仅语义的 MoE。至关重要的是，我们的分析证实 CuMA 有效缓解了均值崩溃，保留了文化多样性。我们的代码可在 https://github.com/Throll/CuMA 获取。
引用
@article{arxiv.2601.04885,
title = {CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters},
author = {Ao Sun and Xiaoyu Wang and Zhe Tan and Yu Li and Jiachen Zhu and Shu Su and Yuheng Jia},
journal= {arXiv preprint arXiv:2601.04885},
year = {2026}
}