ALLWAS：在 Wasserstein 空间中对语言模型进行主动学习
计算与语言
2021-09-07 v1 机器学习
摘要
在标注训练数据稀缺的领域（如医疗领域），主动学习已成为一种标准范式。由于这些模型带来的性能提升，语言模型已成为若干自然语言任务的主流选择。然而，在包括医学在内的多个领域中，标注训练数据稀缺是普遍问题。此外，在类别不平衡普遍的情况下，这些模型可能表现不佳。主动学习可望在这些情况下以有限的标注预算提升性能。为此，我们提出了一种基于次模优化和最优传输的采样技术用于语言模型主动学习的新方法，称为 ALLWAS。我们基于所设计目标在梯度域中的次模优化构建了采样策略。此外，为实现从少量样本学习，我们提出了一种从 Wasserstein 重心采样的全新策略。我们在文本分类的标准基准数据集上的实证评估表明，我们的方法显著优于现有的语言模型主动学习方法（某些情况下相对提升 >20%）。
引用
@article{arxiv.2109.01691,
title = {ALLWAS: Active Learning on Language models in WASserstein space},
author = {Anson Bastos and Manohar Kaul},
journal= {arXiv preprint arXiv:2109.01691},
year = {2021}
}