通过主动学习微调 BERT 用于低资源自然语言理解
计算与语言
2020-12-07 v1
摘要
近来，在下游任务特定模型中利用基于预训练 Transformer 的语言模型推动了自然语言理解任务的最先进结果。然而，仅有少量研究探索了该方法在训练数据点少于 1,000 的低资源环境中的适用性。在本工作中，我们探索通过利用基于池的主动学习来微调 BERT——一种基于预训练 Transformer 的语言模型——以加速训练，同时保持标注新数据的成本不变。我们在 GLUE 数据集上的实验结果表明，当从非标注数据池中查询时，通过最大化模型的近似知识增益可获得模型性能上的优势。最后，我们展示并分析了在微调期间冻结语言模型层以减少可训练参数数量的好处，使其更适用于低资源环境。
引用
@article{arxiv.2012.02462,
title = {Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning},
author = {Daniel Grießhaber and Johannes Maucher and Ngoc Thang Vu},
journal= {arXiv preprint arXiv:2012.02462},
year = {2020}
}
备注
COLING'2020