面向LLM路由器的全方位比较平台——RouterArena
机器学习
2025-12-01 v3
摘要
当今的LLM生态系统包含大小、能力和成本各异的众多模型。没有单个模型适用于所有场景；因此，LLM路由器对于在不同情境下选择最合适的模型至关重要。然而，各种路由器的快速涌现使得选择合适的路由器日益具有挑战性。为此，我们需要全面的路由器比较及标准化排行榜，类似于模型可用的排行榜。在本工作中，我们介绍了RouterArena——首个实现LLM路由器全方位比较的开放平台。RouterArena具备（1）覆盖广泛知识领域的基准数据集、（2）每个领域可区分的难度级别、（3）广泛的评估指标列表，以及（4）用于排行榜自动更新的自动化框架。依靠我们的框架，我们已生成初始排行榜，展示了详细的指标对比（见图1）。我们用于评估新路由器的框架已公开于https://github.com/RouteWorks/RouterArena。我们的排行榜可在https://routeworks.github.io/上访问。
引用
@article{arxiv.2510.00202,
title = {RouterArena: An Open Platform for Comprehensive Comparison of LLM Routers},
author = {Yifan Lu and Rixin Liu and Jiayi Yuan and Xingqi Cui and Shenrun Zhang and Hongyi Liu and Jiarong Xing},
journal= {arXiv preprint arXiv:2510.00202},
year = {2025}
}
备注
22 pages, 13 figures, 9 tables