生成式AI竞技场中的战略坦诚度

AI竞技场是一种对生成模型进行排名的方法，基于用户的成对偏好。由于排名是从噪声偏好中计算得出的，担忧模型生产者可以通过提交大量模型（例如，提交本质上相同的多个模型变体）来利用这种随机性，从而人为性地提高其顶级模型的排名。这可能导致排名质量和有用性的下降。本文首先通过理论分析和校准至Arena平台（此前为LMArena, Chatbot Arena）数据的仿真，建立了生产者在目标获得高排名时提交克隆模型可获益的条件。我们随后提出一种新的排名机制，用于从成对比较中对模型进行排名，称为You-Rank-We-Rank (YRWR)。它要求生产者对其自身模型进行排名，并利用这些排名来纠正模型质量的统计估计。我们证明，该机制在approximate clone-robust方面表现良好，即生产者不能通过除提交每个唯一模型一次之外的任何其他方式来显著提高其排名。此外，在生产者能够正确排名其自身模型的程度上，YRWR提高了整体排名准确性。在进一步的仿真中，我们展示了该机制确实近乎clone-robust，并量化了即使在生产者误排名的情况下，提升排名准确性的效果。