一种面向 BERT 服务的灵活多任务模型
计算与语言
2022-03-10 v2 机器学习
摘要
在本演示中，我们提出一种高效的基于 BERT 的多任务（MT）框架，特别适用于任务的迭代与增量式开发。该框架基于部分微调的思想，即仅微调 BERT 的若干顶层而保持其余层冻结。对于每个任务，我们使用部分微调独立训练一个单任务（ST）模型。随后，我们利用知识蒸馏压缩各 ST 模型中的任务特定层。这些被压缩的 ST 模型最终合并为一个 MT 模型，从而使其冻结层在各项任务间共享。我们在八个 GLUE 任务上例证了该方法，表明其能够同时实现强劲性能与高效率。我们已将该方法实现于小米开发的商用 AI 助手小爱同学的语句理解系统中。我们估计该模型使整体服务成本降低了 86%。
引用
@article{arxiv.2107.05377,
title = {A Flexible Multi-Task Model for BERT Serving},
author = {Tianwen Wei and Jianwei Qi and Shenghuan He},
journal= {arXiv preprint arXiv:2107.05377},
year = {2022}
}
备注
To appear in ACL2022