COSMOS：可预测且成本高效的 LLM 适配
机器学习
2025-06-06 v1 人工智能
摘要
大型语言模型（LLMs）通过使用多种多样的适配策略，在众多任务中取得了卓越的性能。然而，在资源约束下最优地选择模型和适配策略颇具挑战，且通常需要大量的实验。我们探究了是否可能在不进行昂贵试验的情况下，准确预测性能和成本。我们形式化了 LLM 的策略选择问题，并引入了 COSMOS，一个统一的预测框架，能以最小的成本高效估计适配结果。我们通过一对强大的预测器来实例化并研究该框架的能力：嵌入增强的轻量级代理模型用于预测微调性能，以及低样本缩放定律用于预测检索增强的上下文学习。在八个代表性基准上的广泛评估表明，COSMOS 实现了高预测准确率，同时平均降低了 92.72% 的计算成本，在资源密集型场景中最高可降低 98.71%。我们的结果表明，对适配结果进行高效预测不仅可行，而且能在维持性能标准的同时，大幅减少 LLM 部署的计算开销。
引用
@article{arxiv.2505.01449,
title = {COSMOS: Predictable and Cost-Effective Adaptation of LLMs},
author = {Jiayu Wang and Aws Albarghouthi and Frederic Sala},
journal= {arXiv preprint arXiv:2505.01449},
year = {2025}
}