苍蝇拍还是大炮？通过元建模实现高性价比语言模型选择
计算与语言
2023-12-19 v3
摘要
生成式语言模型（LM）已在数据科学中无处不在。对于各类任务，输入可被表述为给LM的自然语言提示，并从中提取出解。LM性能随模型规模持续提高——但查询越来越大模型的经济成本也随之提高。然而重要的是，并非所有输入都同样困难：有些需要较大LM才能获得满意解，而另一些较小LM已足够。基于这一事实，我们设计了一个名为“苍蝇拍还是大炮”（FORC）的高性价比语言模型选择框架。给定一组输入和一组候选LM，FORC借助所谓元模型将每个输入明智地分配给预测在该输入上表现良好的LM，旨在以低成本实现高整体性能。成本-性能权衡可由用户灵活调节。选项包括：在给定的成本预算内最大化总期望性能（或已处理输入数量），或在处理所有输入时最小化总成本。我们在涵盖五种自然语言任务的14个数据集上评估FORC，使用了四种规模和成本差异巨大的候选LM。借助FORC，我们在达到最大可用LM性能的同时实现了63%的成本降低。通过我们公开可用的库，研究人员及从业者因此可节省大量资金而不牺牲性能。
引用
@article{arxiv.2308.06077,
title = {Fly-Swat or Cannon? Cost-Effective Language Model Choice via Meta-Modeling},
author = {Marija Šakota and Maxime Peyrard and Robert West},
journal= {arXiv preprint arXiv:2308.06077},
year = {2023}
}