SpectR: 基于谱路由的动态语言模型专家组合
计算与语言
2025-08-19 v2 人工智能
机器学习
摘要
训练大型通用语言模型面临巨大挑战。日益增多的专用专家模型（从预训练模型针对特定任务或领域微调而来）提供了一种有前景的替代方案。在现实应用中利用这些现有专家模型的潜力，需要有效的方法来选择或合并最适合给定任务的模型。本文提出SPECTR，一种在推理过程中每个时间步动态组合专家模型的方法。值得注意的是，我们的方法无需额外训练，并支持灵活的token级和层级模型组合。实验结果表明，SPECTR相比其他无训练方法提高了路由准确性，提升了跨专家领域的任务性能。
引用
@article{arxiv.2504.03454,
title = {SpectR: Dynamically Composing LM Experts with Spectral Routing},
author = {William Fleshman and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2504.03454},
year = {2025}
}