中文

通过部分识别进行弱监督性能评估

机器学习 2024-11-01 v2 人工智能 机器学习 统计方法学

摘要

程序化弱监督(PWS)使得无需直接访问真实标签即可进行监督模型训练,利用来自启发式方法、众包或预训练模型的弱标签。然而,真实标签的缺失使模型评估复杂化,因为准确率、精确率和召回率等传统指标无法直接计算。在这项工作中,我们提出了一种新方法来解决这一挑战,将模型评估视为一个部分识别问题,并使用Fr\'echet界估计性能界限。我们的方法无需标记数据即可推导出关键指标的可靠界限,克服了当前弱监督评估技术的核心局限性。通过可扩展的凸优化,我们获得了准确且计算高效的指标界限,包括准确率、精确率、召回率和F1分数,即使在高效维度设置下也是如此。该框架提供了一种无需真实标签即可评估模型质量的稳健方法,增强了弱监督学习在实际应用中的实用性。

关键词

引用

@article{arxiv.2312.04601,
  title  = {Weak Supervision Performance Evaluation via Partial Identification},
  author = {Felipe Maia Polo and Subha Maity and Mikhail Yurochkin and Moulinath Banerjee and Yuekai Sun},
  journal= {arXiv preprint arXiv:2312.04601},
  year   = {2024}
}

备注

NeurIPS 2024