Rho-Perfect：主观评估数据集的相关性上限

主观评分包含内在噪声，限制了模型与人类之间的相关性，但这一可靠性问题鲜有量化。在本文中，我们提出了 $\rho$-Perfect，用于估计模型在主观评分数据集上可实现的最高相关性。我们定义 $\rho$-Perfect 为完美预测器与人类评分之间的相关性，并基于异方差噪声场景推导其估计值——这是主观评分数据集中常见的情况。我们展示 $\rho$-Perfect 平方估计值用于检验-复测相关性，并用于验证该估计值。我们在语音质量数据集上演示 $\rho$-Perfect 的用法，展示该度量如何区分模型局限性与数据质量问题。