WeShap：基于Shapley值的数据弱监督源评估

高效的数据标注是训练当代机器学习模型时的重要瓶颈。程序化弱监督 (PWS) 流程通过利用多个弱监督源自动为数据标注，从而加速标注过程。鉴于这些弱监督源对 PWS 准确率的不同贡献，迫切需要一种稳健且高效的评估指标来衡量这些弱监督源。这是至关重要的，不仅用于理解 PWS 流程的行为和性能，还用于促进纠正措施。在我们研究中，我们引入 WeShap 值作为一种评估指标，该指标利用Shapley 值的理论基础，量化弱监督源在代理 PWS 流程中的平均贡献。我们演示了使用动态规划高效计算 WeShap 值的方法，相对于弱监督源的数量仅具有二次计算复杂度。我们的实验表明，WeShap 值在 various applications 中具有多样性，包括识别有益或有害的标注函数、细化 PWS 流程、纠正误标数据。此外，WeShap 值有助于理解 PWS 流程的行为并审查特定误标数据的实例。尽管 WeShap 值最初来自特定的代理 PWS 流程，但我们经验上表明，WeShap 值对其他 PWS 流程配置具有普遍性。我们的发现表明，通过修订 PWS 流程相对于之前的最先进方法，下游模型准确率平均提高了 5.0 分，凸显了 WeShap 值在提高训练机器学习模型数据质量方面的有效性。