FURINA：通过混合专家的线性聚合实现免于不可合并路由器的框架

混合专家（MoE）范式已成功集成到低秩适配（LoRA）中，用于参数高效的微调（PEFT），在引入最小参数开销的同时带来了性能提升。然而，现有MoE-LoRA方法的一个关键限制是其依赖于离散路由器，这阻碍了MoE组件与骨干模型的集成。为克服这一问题，我们提出了FURINA，一种基于混合专家线性聚合（FRee from Unmergeable Router via LINear Aggregation of mixed experts）的新型框架。FURINA通过引入自路由机制消除了路由器。这通过三个核心创新实现：（1）LoRA适配器的方向与量值的解耦学习，（2）用于一致激活缩放的共享可学习量值向量，以及（3）鼓励专家激活发散的专家选择损失。所提出的机制利用输入与每个适配器的方向分量之间的角度相似性来激活专家，然后由共享量值向量进行缩放。该设计使输出范数能够自然反映每个专家的重要性，从而实现动态、无路由器的路由。专家选择损失进一步通过鼓励稀疏性并使其与标准MoE激活模式对齐来锐化这一行为。我们还在MoE-LoRA模块中引入了一个共享专家，提供稳定的基础知识。据我们所知，FURINA是首个可完全合并到骨干模型中的无路由器、MoE增强LoRA方法，引入零额外推理时开销或复杂度。广泛的实验表明，FURINA不仅显著优于标准LoRA，而且匹配或超越了现有MoE-LoRA方法的性能，同时消除了MoE的额外推理时开销。