Glider：全局与局部指令驱动的专家路由器

高性能预训练模型的出现导致了针对特定领域微调的专家模型激增。这催生了强大且自适应的基于路由的“模型MoErging”方法，其目标是利用专家模块创建一个具有改进性能或泛化能力的聚合系统。然而，现有的MoErging方法通常优先考虑对未见任务的泛化能力，而牺牲了在已见任务上的性能，这限制了其在实际部署场景中的实用性。我们观察到，当前的令牌级路由机制忽略了输入任务的全局语义上下文。这种令牌级独立性阻碍了对已见任务的有效专家选择，因为路由决策未能融入任务的语义属性。为了解决这个问题，我们提出了全局与局部指令驱动的专家路由器（GLIDER），它集成了一个多尺度路由机制，包括一个语义全局路由器和一个学习到的局部路由器。全局路由器利用LLM的高级推理能力来处理与语义相关的上下文，从而增强专家选择。给定输入查询和LLM，路由器生成语义任务指令，指导在所有层中检索最相关的专家。这种全局指导由局部路由器补充，该路由器促进每个模块内的令牌级路由决策，从而实现对未见任务的更精细控制和增强性能。我们使用基于T5的模型在T0和FLAN任务上进行的实验表明，GLIDER在保持对已见任务强大泛化能力的同时，显著提高了已见任务的性能。我们还进行了消融实验，以更深入地探究GLIDER的各个组成部分。我们的实验强调了多尺度路由的重要性，该路由利用LLM驱动的语义推理来改进MoErging方法。