多智能体LLM评估中的同伴身份偏差:基于TRUST民主话语分析管道的实证研究
计算机与社会
2026-04-28 v1 人工智能
多智能体系统
摘要
TRUST民主话语分析管道通过多个结构性通道将大型语言模型(LLM)组件暴露于同伴模型身份之下 -- 这一设计特征的偏差影响尚未进行经验性测试。我们对身份暴露在TRUST管道中所有活跃身份通道的身份依赖评分偏差进行了首次系统性测量,跨越四个模型家族、两个匿名化范围,涵盖30个政治陈述。核心发现表明,单通道匿名化产生近乎零偏差效应,因为各个通道作用方向相反,彼此抵消 -- 这一结果会导致评估者得出身份偏差不存在的结论,而实际上偏差并未消除。只有完整管道匿名化才能揭示真实模式:均质性集合在模型身份完全可见时会放大身份驱动的从众行为,而异质生产配置则显示相反趋势。模型选择独立地产生影响:测试的一个模型在基线从众水平上高出其他模型两到三倍,并在意识形态话题上几乎没有审慎决策冲突,使其在意图型质量机制需要真实的角色间不一致时结构上不适合作为管道。三个实用结论如下。首先,异质模型集合在结构上比均质集合更稳健,实现更高的共识率和更低的身份放大效应。其次,完整管道匿名化是有效偏差测量的必要条件 -- 部分匿名化不足且具有误导性。第三,这些发现直接影响多智能体LLM系统在质量关键型应用中的验证:在部分匿名化或使用均质集合进行验证的系统可能通过验证,却保留结构性身份偏差,而这种偏差对单通道测量不可见。
引用
@article{arxiv.2604.22971,
title = {Peer Identity Bias in Multi-Agent LLM Evaluation: An Empirical Study Using the TRUST Democratic Discourse Analysis Pipeline},
author = {Juergen Dietrich},
journal= {arXiv preprint arXiv:2604.22971},
year = {2026}
}
备注
13 pages, 1 figure