量化并缓解标签错误对模型差异度量的影响

通过人工标注获得的标签中的错误会对模型性能产生不利影响。现有方法提出了缓解标签错误对模型下游准确率影响的方式，但其对模型差异度量的影响却鲜有知晓。本文研究标签错误对模型差异度量的影响。我们实证刻画了训练与测试数据中不同水平的标签错误如何影响这些差异度量。我们发现组校准及其他度量对训练时与测试时的标签错误均敏感——尤其是对少数群体。即便使用噪声感知算法训练的模型，这种差异性影响依然存在。为缓解训练时标签错误的影响，我们提出一种估计训练输入标签对模型组差异度量影响的方法。我们在多种数据集上实证评估该方法，发现相较于替代方法，其在识别能改善模型差异度量的训练输入方面有明显提升。我们以自动重标注与微调方案补充该方法，所得更新模型可证明具有改善的组校准误差。