质量保障：重新思考影像 AI 中的标注策略

本文不描述新方法，而是研究可靠基准测试和最终现实应用 AI 基于图像分析的基础：生成高质量参考标注的能力。以往研究聚焦于众包作为外包标注的手段，但对标注公司，特别是其内部质量保证（QA）流程的注意力甚少。因此，我们的目标是评估 QA 对标注质量的影响，并设计方法以最大化数据标注效能。基于来自四家标注公司和亚马逊 Mechanical Turk（MTurk）共 57,648 张实例分割图像、924 名标注员和 34 名 QA 工作者的数据，我们得出以下见解：（1）标注公司在数量和质量方面均优于广泛使用的平台 MTurk。（2）标注公司的内部 QA 仅提供边际性改进，或无明显改进。然而，改进标注说明而非投资于 QA 可显著提升标注绩效。（3）内部 QA 的效益取决于特定图像特征。我们的工作可帮助研究人员从固定标注预算中获得显著更多价值，并改变标注公司开展内部 QA 的方式。