代数评估定理

多数投票 (Majority Voting, MV) 是典型的“众人拍肩”算法。关于 MV 在群体决策中何时最优的定理可追溯到 Condorcet 于1785年的陪审团“决策”定理。该定理所依赖的错误独立假设同样可用于证明一种陪审团“评估”定理，该定理仅基于批处理的陪审员决策进行纯代数评估 (purely algebraic evaluation, AE)。少于50%准确率的陪审员也能获得其正确性在测试中的唯一两种统计量。AE相比MV在三个方面更优。首先，AE的经验假设更宽松，能够处理决策准确率不足50%的陪审员。其二，基于错误独立假设，AE在评估陪审员时具有点状精度，这种精度使得一种高于MV的多准确性方法得以实现，该方法搭载经验不确定性界限。其三，AE对错误独立假设失效持警惕态度。使用来自美国人口普查局的人口统计数据实验确认了AE相对于MV的实际效用。本文讨论了该定理对AI安全的两个含义——一种原则性地终止无限监控链条（谁给评估者评分？）的方法，以及如何评估不被理解的任务代理人（super-alignment problem）的问题。