面向网页级问答系统的多任务知识蒸馏模型压缩方法
计算与语言
2019-04-23 v1
摘要
深度预训练与微调模型（如 BERT、OpenAI GPT）在问答领域已展现出优异的效果。然而，由于模型参数量巨大，这些模型的推理速度非常慢。如何将这些复杂模型应用于真实业务场景成为一个具有挑战性但实用的问题。先前的工作常利用模型压缩方法来解决该问题。然而，这些方法通常在模型压缩过程中引发信息损失，导致压缩模型与原模型结果不可比。为应对这一挑战，我们提出了一种用于网页级问答系统的多任务知识蒸馏模型（简称 MKDM），通过将多个教师模型的知识蒸馏到一个轻量级学生模型中。以此方式，可迁移更具泛化性的知识。实验结果表明，我们的方法显著优于基线方法，甚至取得了与原教师模型相当的结果，同时模型推理速度大幅提升。
引用
@article{arxiv.1904.09636,
title = {Model Compression with Multi-Task Knowledge Distillation for Web-scale Question Answering System},
author = {Ze Yang and Linjun Shou and Ming Gong and Wutao Lin and Daxin Jiang},
journal= {arXiv preprint arXiv:1904.09636},
year = {2019}
}
备注
9 pages, 2 figures