BAM！用于自然语言理解的再生多任务网络
计算与语言
2019-07-11 v1
摘要
训练多任务神经网络以超越甚至匹配其单任务对应模型可能具有挑战性。为帮助解决此问题，我们提出使用知识蒸馏，由单任务模型教导多任务模型。我们用教师退火增强该训练，这是一种将模型从蒸馏逐渐过渡到监督学习的新方法，帮助多任务模型超越其单任务教师。我们通过在 GLUE 基准上对 BERT 进行多任务微调来评估我们的方法。我们的方法持续优于标准的单任务和多任务训练。
引用
@article{arxiv.1907.04829,
title = {BAM! Born-Again Multi-Task Networks for Natural Language Understanding},
author = {Kevin Clark and Minh-Thang Luong and Urvashi Khandelwal and Christopher D. Manning and Quoc V. Le},
journal= {arXiv preprint arXiv:1907.04829},
year = {2019}
}
备注
ACL 2019