你需要多少验证标签？探索标签高效模型排序的设计空间
机器学习
2024-02-20 v3
摘要
本文提出LEMR（标签高效模型排序，Label-Efficient Model Ranking）并引入MoraBench基准。LEMR是一种新颖的框架，通过从未标注验证集中策略性地标注实例，最小化模型选择中对昂贵标注的需求。为评估LEMR，我们利用MoraBench基准，该基准是跨多种场景的模型输出的综合集合。我们在半监督学习、弱监督和提示选择任务中的23个不同NLP任务上进行的广泛评估，证明了LEMR在显著降低标注成本方面的有效性。关键发现强调了合适的集成方法、不确定性采样策略以及模型委员会选择对提升模型排序精度的影响。在MoraBench洞察的支持下，LEMR为模型选择提供了一种高性价比且准确的解决方案，在资源受限环境中尤为宝贵。
引用
@article{arxiv.2312.01619,
title = {How Many Validation Labels Do You Need? Exploring the Design Space of Label-Efficient Model Ranking},
author = {Zhengyu Hu and Jieyu Zhang and Yue Yu and Yuchen Zhuang and Hui Xiong},
journal= {arXiv preprint arXiv:2312.01619},
year = {2024}
}