中文

信任即设计:面向透明且成本敏感的 LLM 路由技能轮廓

人工智能 2026-02-03 v1 信息检索 机器学习

摘要

大语言模型(LLM)实践者应如何在不浪费金钱的情况下选择合适的模型用于特定任务?我们引入BELLA(Budget-Efficient LLM Selection via Automated skill-profiling),一个通过可解释技能基于模型选择来推荐最佳 LLM 选择的框架。标准基准报告的聚合指标掩盖了任务所需的具体能力以及更便宜的模型是否足够。BELLA 通过三阶段解决这一问题:(1)分解 LLM 输出并通过使用基于批评家的轮廓提取精细技能;(2)将技能聚类到结构化能力矩阵中;(3)进行多目标优化,以选择在遵守预算约束的同时最大化性能的正确模型。BELLA 为推荐提供自然语言依据,提供了当前黑箱路由系统所缺乏的透明度。我们描述了框架架构,将其置于 LLM 路由和评估的格局中,并讨论其应用于金融推理作为具有多样化技能要求和模型间成本差异的代表性领域。我们的框架使实践者能够为部署 LLM 做出原则性且在成本与性能之间进行权衡。

关键词

引用

@article{arxiv.2602.02386,
  title  = {Trust by Design: Skill Profiles for Transparent, Cost-Aware LLM Routing},
  author = {Mika Okamoto and Ansel Kaplan Erol and Glenn Matlin},
  journal= {arXiv preprint arXiv:2602.02386},
  year   = {2026}
}

备注

Appeared at MLSys YPS 2025