模型级联：迈向共同提升 NLP 系统的效率与准确性
计算与语言
2022-10-12 v1 人工智能
摘要
所有实例都需要通过大模型进行推理才能获得正确预测吗？或许并非如此；一些实例很简单，即使是小容量模型也能正确回答。这为提升系统的计算效率提供了机会。在本工作中，我们对“模型级联”进行了一项探索性研究，这是一种利用一组容量各异的模型来准确且高效地输出预测结果的简单技术。通过在级联可用模型数量（K 值）不同的多种任务设置下进行综合实验，我们表明级联同时提升了计算效率和预测准确性。例如，在 K=3 设置下，级联最多可节省 88.93% 的计算成本，并持续取得更优的预测准确性，提升高达 2.18%。我们还研究了在级联中引入额外模型的影响，并表明这会进一步提高效率的提升幅度。最后，我们希望我们的工作将促进高效 NLP 系统的开发，使其在现实应用中的广泛部署成为可能。
引用
@article{arxiv.2210.05528,
title = {Model Cascading: Towards Jointly Improving Efficiency and Accuracy of NLP Systems},
author = {Neeraj Varshney and Chitta Baral},
journal= {arXiv preprint arXiv:2210.05528},
year = {2022}
}
备注
EMNLP 2022