多利益相关者 LLM 对齐：分解估计与聚合
人工智能
2026-05-27 v1
摘要
多利益相关者任务需要生成一个输出以满足具有冲突偏好的用户。整体 LLM 评判者将效用估计与效用聚合混合，导致隐式权重不稳定。我们在实验和理论上表明，这种聚合特定的“权重噪声”会在利益相关者满意度分散时引起显著的得分偏移；在我们的实验中，这些权重引起的偏移随利益相关者数量而增大。我们提出 \textsc{DecompR}：从查询结构中固定校准后的权重，而每个角色的效用独立估计，从而消除候选依赖性权重漂移并降低估计噪声。
引用
@article{arxiv.2605.26878,
title = {Multi-Stakeholder LLM Alignment: Decomposing Estimation from Aggregation},
author = {Lulu Zheng and Wenjin Yang and Xiangwen Zhang and Rong Yin and Yulan Hu and Zheng Pan and Xin Li},
journal= {arXiv preprint arXiv:2605.26878},
year = {2026}
}