预见偶然监督的益处
机器学习
2021-09-13 v2 机器学习
摘要
现实世界的应用通常需要通过利用一系列廉价的偶然监督信号来改进模型。这些信号可能包括部分标签、噪声标签、基于知识的约束以及跨域或跨任务标注——它们都与黄金标注存在统计关联但并非完全相同。然而，我们目前缺乏一种原则性的方法来衡量这些信号对给定目标任务的益处，而评估这些益处的常见做法是通过各种模型和超参数的穷举实验。本文研究我们是否可以在单一框架内，无需进行组合实验即可量化各类偶然信号对给定目标任务的益处。我们提出了一种统一的受 PAC-Bayesian 启发的可信息性度量 PABI，它刻画了偶然监督信号所提供的不确定性减少。我们通过量化各类偶然信号为序列标注任务所增加的价值来展示 PABI 的有效性。在命名实体识别（NER）和问答（QA）上的实验表明，PABI 的预测与学习性能高度相关，为在学习之前确定哪些监督信号将是有益的提供了一种有前景的方法。
引用
@article{arxiv.2006.05500,
title = {Foreseeing the Benefits of Incidental Supervision},
author = {Hangfeng He and Mingyuan Zhang and Qiang Ning and Dan Roth},
journal= {arXiv preprint arXiv:2006.05500},
year = {2021}
}