利用知识蒸馏与主动学习提升问答性能
计算与语言
2021-09-28 v1 信息检索
机器学习
摘要
当代问答系统，包括基于 Transformer 的架构，面临着日益增长的计算和模型复杂性，这使得它们在资源有限的现实应用中效率低下。此外，训练甚至微调此类模型需要大量标注数据，而这些数据对于手头的任务通常不可用。在本文中，我们对上述挑战进行了全面分析，并引入了合适的对策。我们提出了一种新颖的知识蒸馏方法来降低预训练 BERT 系统的参数和模型复杂性，并利用多种主动学习策略来大幅减少标注工作量。特别是，我们证明了我们的模型达到了 6 层 TinyBERT 和 DistilBERT 的性能，同时仅使用了它们总参数的 2%。最后，通过将我们的主动学习方法集成到 BERT 框架中，我们展示了在仅使用 20% 训练数据的情况下，即可在 SQuAD 数据集上取得最先进的结果。
引用
@article{arxiv.2109.12662,
title = {Improving Question Answering Performance Using Knowledge Distillation and Active Learning},
author = {Yasaman Boreshban and Seyed Morteza Mirbostani and Gholamreza Ghassem-Sani and Seyed Abolghasem Mirroshandel and Shahin Amiriparian},
journal= {arXiv preprint arXiv:2109.12662},
year = {2021}
}