EMAFusion：用于无缝 LLM 选择与集成的自优化系统
计算与语言
2025-04-16 v1
摘要
尽管大型语言模型 的最新进展显著提升了各类自然语言任务的性能，但其部署所带来的高昂计算与财务成本仍是巨大的障碍。现有的路由策略通过将查询分配给更廉价或专门的模型，在一定程度上缓解了这一挑战，但它们通常依赖大量标注数据或脆弱的特定任务启发式方法。相反，融合技术通过聚合多个 LLM 的输出来提高准确性和鲁棒性，然而这往往会加剧成本并可能强化共享的偏差。我们引入了 EMAFusion，这是一个新框架，能够针对给定查询自优化以实现无缝的 LLM 选择和可靠执行。具体而言，EMAFusion 集成了用于熟悉查询类型的基于分类法的路由器、用于模糊输入的学习型路由器，以及一种基于多评判器置信度评估、从较廉价模型逐步升级至较昂贵模型的级联方法。通过广泛评估，我们发现 EMAFusion 比最佳的单个模型高出 2.6 个百分点以上（94.3% 对 91.7%），同时成本比平均成本低 4 倍。EMAFusion 进一步取得了 17.1 个百分点的显著提升，超越了 GPT-4 等模型，且成本不到其 1/20。我们的组合路由方法达到了 94.3% 的准确率，相比之下，单独使用基于分类法（88.1%）和基于学习模型预测器（91.7%）的方法效果较差，这证明了我们统一策略的有效性。最后，EMAFusion 支持灵活的成本-准确率权衡，允许用户在其预算限制和性能需求之间取得平衡。
引用
@article{arxiv.2504.10681,
title = {EMAFusion: A Self-Optimizing System for Seamless LLM Selection and Integration},
author = {Soham Shah and Kumar Shridhar and Surojit Chatterjee and Souvik Sen},
journal= {arXiv preprint arXiv:2504.10681},
year = {2025}
}