符号混合专家：面向异构推理的自适应技能路由
摘要
组合现有的预训练专家 LLM 是可扩展地处理大规模多样化任务的有前途的途径。然而，选择任务级专家往往粒度过粗，因为异构任务可能对每个实例需要不同的专业知识。为了实现预训练 LLM 专家的自适应实例级混合，我们提出了 Symbolic-MoE，一个基于符号、文本且无梯度的混合专家框架。Symbolic-MoE 采用细粒度的选择方法，强调技能，例如数学中的代数或生物医学推理中的分子生物学。我们提出了一种基于技能的招募策略，根据专家 LLM 的优势，为多样化推理任务动态选择最相关的专家 LLM 集合。然后，每个选定的专家生成自己的推理，产生来自 k 个专家的 k 个输出，随后由根据其整合多样化推理输出能力而选定的聚合器将其合成为最终的高质量响应。我们表明，Symbolic-MoE 的实例级专家选择大幅提升了性能，但是——如果简单直接地实现——由于需要不断加载和卸载模型，可能会引入很高的计算开销。为了解决这个问题，我们实现了一种批处理策略，根据分配给实例的专家对实例进行分组，每个模型只加载一次。这使我们能够在 1 个 GPU 上集成 16 个专家模型，其时间成本与使用 4 个 GPU 的先前多智能体基线相当或更好。通过在多样化基准测试（MMLU-Pro、GPQA、AIME 和 MedMCQA）上的广泛评估，我们表明 Symbolic-MoE 击败了诸如 GPT4o-mini 等强大的 LLM 以及多智能体方法，相对于最佳多智能体基线获得了 8.15% 的绝对平均增益。此外，Symbolic-MoE 对未见任务具有良好的泛化能力，并且不需要昂贵的多轮讨论，以更少的计算量优于讨论基线。
引用
@article{arxiv.2503.05641,
title = {Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning},
author = {Justin Chih-Yao Chen and Sukwon Yun and Elias Stengel-Eskin and Tianlong Chen and Mohit Bansal},
journal= {arXiv preprint arXiv:2503.05641},
year = {2025}
}
备注
The first three authors contributed equally. Project Page: https://symbolic-moe.github.io/