STENCIL：基于子模互信息的冷启动主动学习弱监督
机器学习
2024-07-15 v2 计算与语言
摘要
随着在自然语言处理应用中对预训练模型进行监督微调的流行程度增加，尤其随着大语言模型参数数量的增长，对标注数据的需求也日益增长。主动学习通过挖掘和标注未标记的实例来快速提高模型性能，是降低标注成本的常见选择；然而，大多数方法通常忽视类别不平衡问题，要么假设存在初始标注数据，要么需要进行多个主动学习选择轮次才能改善稀有类别。我们提出了 STENCIL 方法，该方法利用一组文本示例和新近提出的子模互信息来选择一组弱标注的稀有类别实例，然后由标注员进行强标注。我们展示了 STENCIL 在多个数值文本分类数据集上，在类别不平衡的冷启动设置下，比常见的主动学习方法提高了 10%-18% 的总体准确率和 17%-40% 的稀有类别 F1 分数。
引用
@article{arxiv.2402.13468,
title = {STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning},
author = {Nathan Beck and Adithya Iyer and Rishabh Iyer},
journal= {arXiv preprint arXiv:2402.13468},
year = {2024}
}
备注
10 pages, 1 figure