Smoothie：无标签语言模型路由
人工智能
2024-12-09 v1 机器学习
摘要
大语言模型 (LLM) 在输入跨越多种不同任务的应用中日益受到重视。近期研究发现，LLM 选择具有决定性影响，不同 LLM 可能适用于不同输入样本。以往方法因此探索工程师如何为每个样本选择 LLM（即路由）。虽然现有路由方法大多需要基于人工标注数据训练辅助模型，但我们的工作探索是否可能进行无监督路由。我们提出 Smoothie，这是一种受弱监督启发的路由方法，无需标注数据。给定来自不同 LLM 的输出集合，Smoothie 构建一个关于可观测 LLM 输出表示与未知“真实”输出表示的潜变量图模型。通过该图模型，我们估计每个样本在每个 LLM 上的样本相关质量分数，并路由至得分最高的 LLM。我们发现 Smoothie 的 LLM 质量分数与真实模型质量相关（正确识别 14 个任务中的 9 个最佳模型），且 Smoothie 在路由方面优于基线方法最高可提高 10 分准确率。
引用
@article{arxiv.2412.04692,
title = {Smoothie: Label Free Language Model Routing},
author = {Neel Guha and Mayee F. Chen and Trevor Chow and Ishan S. Khare and Christopher Ré},
journal= {arXiv preprint arXiv:2412.04692},
year = {2024}
}
备注
24 pages, 8 figures, 11 tables