K$\alpha$LOS 发现共识：评估复杂视觉任务中注释者一致性的元算法

目标检测基准数据集的进步正陷入停滞。这种停滞并非源于网络架构，而是由于难以区分模型改进与标签噪声之间的区别。要恢复对基准测试的信任，要求对注释一致性进行严格的量化，以确保评估数据的可靠性。然而，现有的统计指标无法处理视觉任务中固有的实例对应问题此内在难题。此外，验证新的一致性指标仍然循环，因为不存在关于一致性的客观真实值。这迫使人们依赖无法验证的经验方法。我们提出 K$\alpha$LOS (KALOS)，一个统一的元算法，将“先定位”原则推广到标准化数据集质量评估中。通过在评估一致性之前解决空间对应问题，我们的框架将复杂的时空-分类问题转化为名义可靠性矩阵。与以往基于经验的实现不同，K$\alpha$LOS 采用原方法、数据驱动的配置；通过统计校准定位参数以适应其内在一致性分布，它适用于从边界框到体积分割或姿态估计的各种任务。这种标准化使我们能够进行细粒度的诊断，不仅仅是单一分数。这些包括注释者活力、协作聚类和定位灵敏度。为验证这一方法，我们引入了一个新型且经验派生的噪声生成器。与以往依赖均匀误差假设的验证不同，我们可控的测试环境建模了复杂且非各向同性的人类变异性。这提供了该指标属性的证据，并将 K$\alpha$LOS 确立为现代计算机视觉基准测试中区分信号与噪声的稳健标准。