无服务器环境下BERT模型的高性价比部署
计算与语言
2021-04-20 v2 机器学习
摘要
在本研究中，我们展示了在生产环境中将BERT风格模型部署到无服务器环境的可行性。由于公开可用的预训练模型过大而无法以此方式部署，我们利用知识蒸馏并在专有数据集上针对两个真实任务——情感分析与语义文本相似度——对模型进行微调。由此，我们获得了针对特定领域调优且可部署于无服务器环境的模型。随后的性能分析表明，该方案达到了生产可用的延迟水平，并且对于中小规模的BERT模型部署也是一种高性价比的方法，且没有任何基础设施开销。
引用
@article{arxiv.2103.10673,
title = {Cost-effective Deployment of BERT Models in Serverless Environment},
author = {Katarína Benešová and Andrej Švec and Marek Šuppa},
journal= {arXiv preprint arXiv:2103.10673},
year = {2021}
}
备注
NAACL-HLT 2021 Industry Track Camera Ready