AcTune：基于不确定性感知主动自训练的半监督主动学习框架用于预训练语言模型
计算与语言
2022-05-04 v2
摘要
尽管预训练语言模型（PLM）微调已在许多 NLP 任务中取得强劲性能，微调阶段仍可能耗费大量标注数据。近期工作借助主动微调来提升 PLM 微调的标注效率，但均未探究未标注数据的潜力。我们提出 {\ours}，一种利用未标注数据提升主动 PLM 微调标注效率的新框架。AcTune 基于不确定性在数据标注与模型自训练之间切换：它筛选高不确定性未标注样本进行主动标注，低不确定性样本进行模型自训练。在此框架下，我们设计（1）一种区域感知采样策略，在主动查询标注时减少冗余；（2）一种基于动量的记忆库，动态聚合模型伪标签以抑制自训练中的标签噪声。在 6 个文本分类数据集上的实验表明，AcTune 优于最强的主动学习与自训练基线，并将 PLM 微调的标注效率平均提升 56.2%。我们的实现将发布于 \url{https://github.com/yueyu1030/actune}。
引用
@article{arxiv.2112.08787,
title = {AcTune: Uncertainty-aware Active Self-Training for Semi-Supervised Active Learning with Pretrained Language Models},
author = {Yue Yu and Lingkai Kong and Jieyu Zhang and Rongzhi Zhang and Chao Zhang},
journal= {arXiv preprint arXiv:2112.08787},
year = {2022}
}
备注
NAACL 2022 Main Conference (Code: https://github.com/yueyu1030/actune)