BabyBear：面向昂贵语言模型的低成本推理分诊
计算与语言
2022-05-25 v1 机器学习
性能
摘要
Transformer语言模型相较以往模型精度更优，但计算与环境成本高昂。借鉴计算机视觉中的模型级联概念，我们提出BabyBear——一个用于自然语言处理（NLP）任务模型级联以最小化成本的框架。其核心策略为推理分诊：当级联中最廉价模型给出置信度足够高的预测时提前退出。我们在多个与文档分类和实体识别相关的开源数据集上测试BabyBear，发现对于常见NLP任务，大部分推理负载可由通过观察深度学习模型学习得到的廉价快速模型完成，从而将大规模分类任务的计算成本降低50%以上且保持整体精度。在命名实体识别上，我们节省了33%的深度学习计算量，同时在CoNLL基准上维持高于95%的F1分数。
引用
@article{arxiv.2205.11747,
title = {BabyBear: Cheap inference triage for expensive language models},
author = {Leila Khalili and Yao You and John Bohannon},
journal= {arXiv preprint arXiv:2205.11747},
year = {2022}
}
备注
7 pages, 6 figures