通过部分识别进行弱监督性能评估
机器学习
2024-11-01 v2 人工智能
机器学习
统计方法学
摘要
程序化弱监督(PWS)使得无需直接访问真实标签即可进行监督模型训练,利用来自启发式方法、众包或预训练模型的弱标签。然而,真实标签的缺失使模型评估复杂化,因为准确率、精确率和召回率等传统指标无法直接计算。在这项工作中,我们提出了一种新方法来解决这一挑战,将模型评估视为一个部分识别问题,并使用Fr\'echet界估计性能界限。我们的方法无需标记数据即可推导出关键指标的可靠界限,克服了当前弱监督评估技术的核心局限性。通过可扩展的凸优化,我们获得了准确且计算高效的指标界限,包括准确率、精确率、召回率和F1分数,即使在高效维度设置下也是如此。该框架提供了一种无需真实标签即可评估模型质量的稳健方法,增强了弱监督学习在实际应用中的实用性。
引用
@article{arxiv.2312.04601,
title = {Weak Supervision Performance Evaluation via Partial Identification},
author = {Felipe Maia Polo and Subha Maity and Mikhail Yurochkin and Moulinath Banerjee and Yuekai Sun},
journal= {arXiv preprint arXiv:2312.04601},
year = {2024}
}
备注
NeurIPS 2024