MESS+：语言模型动物园中满足服务等级保障的能效最优推理

开源权重大语言模型（LLM）动物园允许用户快速将最先进的模型集成到系统中。尽管可用性不断提高，但为给定任务选择最合适的模型仍然主要依赖公共基准排行榜和有根据的猜测。这对推理服务提供商和终端用户来说都不尽如人意，其中提供商通常优先考虑成本效率，而终端用户通常优先考虑其推理请求的模型输出质量。在商业环境中，这两个优先级通常通过服务等级协议（SLA）结合在一起。我们提出了MESS+，一种用于从模型动物园中进行能效最优模型选择的在线随机优化算法，它基于每次推理请求进行操作。对于要求高准确率的给定SLA，MESS+在保持SLA质量约束的同时，比从动物园中随机选择LLM实现高达2.5倍的能效。