立场：标注流程中的早期质量保证比晚期验证更具成本效益

本立场论文主张，机器学习社区应优先考虑标注流程中的早期质量保证，而非当前普遍采用的晚期验证实践。数据质量瓶颈日益限制基础模型的改进，然而质量保证研究几乎完全集中在验证方法上，而非验证时机。验证何时发生，而不仅仅是采用何种方法，从根本上决定了错误率和标注成本。这种对时机的忽视令人费解，因为软件工程中已确立的“左移”原则表明，后期发现的缺陷成本乘数可达 4 到 100 倍（Boehm, 1981; Shull et al., 2002）。标注流程展现出类似的动态：在标注开始前捕获的错误，其成本仅为在审查周期完成后发现的错误的一小部分。我们提出了一个包含三个质量保证触发点的分类法，即标注前（T0）、标注后（T1）和审查后（T2），将标注工作流分解为离散的验证机会。一个参数化错误传播模型形式化了时机何时影响最终错误率，而不仅仅是经济成本，使时机成为一个可测量的设计变量，而非配置上的事后考虑。对 47 篇近期论文的调查显示，只有 4% 报告了验证发生的时机，鉴于时机在相邻领域已证明的影响，这是一个显著的差距。若不明确关注 QA 时机，社区将面临优化验证方法却忽视可能最重要的结构变量的风险。践行这一立场需要三个步骤：研究人员应在报告验证方法的同时报告 QA 时机配置；标注平台应将时机作为一级参数公开；社区应开展对照实验，直接测量特定阶段的检测率。