微软面向自然语言理解的多任务深度神经网络工具包
计算与语言
2020-05-19 v2
摘要
我们提出 MT-DNN,一个开源的自然语言理解(NLU)工具包,使研究人员和开发者能够轻松训练定制化的深度学习模型。MT-DNN 构建于 PyTorch 和 Transformers 之上,旨在利用多种目标函数(分类、回归、结构化预测)和文本编码器(如 RNN、BERT、RoBERTa、UniLM)来促进广泛 NLU 任务的快速定制。MT-DNN 的一个独特功能是其内置的基于对抗多任务学习范式的鲁棒且可迁移学习的支持。为了实现高效的生产部署,MT-DNN 支持多任务知识蒸馏,可在性能无显著下降的情况下大幅压缩深度神经模型。我们在通用和生物医学领域的广泛 NLU 应用中展示了 MT-DNN 的有效性。该软件和预训练模型将在 https://github.com/namisan/mt-dnn 公开提供。
引用
@article{arxiv.2002.07972,
title = {The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding},
author = {Xiaodong Liu and Yu Wang and Jianshu Ji and Hao Cheng and Xueyun Zhu and Emmanuel Awa and Pengcheng He and Weizhu Chen and Hoifung Poon and Guihong Cao and Jianfeng Gao},
journal= {arXiv preprint arXiv:2002.07972},
year = {2020}
}
备注
9 pages, 3 figures and 3 tables