基于冲突驱动的子空间拓扑修剪的混合专家模块化
机器学习
2026-01-21 v4
摘要
混合专家（MoE）架构通过条件计算实现参数效率，但当代设计存在两个根本性局限：结构参数隔离导致灾难性遗忘，以及指令过拟合降低在无指令情境下的性能。我们提出 CDSP-MoE（Conflict-Driven Subspace Pruning MoE），通过从隔离的专家容器向共享物理子空间内的动态专家实例化实现范式转变。基于通用权重子空间假设，CDSP-MoE 维护一个超完整参数主干，其中逻辑专家通过可学习的拓扑掩码被切割出来。与先前利用梯度冲突进行 token 重新分配或优化手术不同，我们将其用作结构监督信号：滞后梯度游戏对共享流形中的干扰连接进行惩罚，使拓扑能够自主修剪冲突路径并演化出可解释的模块化结构。实验结果表明，CDSP-MoE 在无需人工定义任务标签的情况下实现了稳健的内容驱动路由，在严格的盲推理协议下仍保持语义专化。代码地址：https://github.com/konodiodaaaaa1/Conflict-Driven-Subspace-Pruning-Mixture-of-Experts
引用
@article{arxiv.2512.20291,
title = {Mixture-of-Experts with Gradient Conflict-Driven Subspace Topology Pruning for Emergent Modularity},
author = {Yuxing Gan and Ziyu Lei},
journal= {arXiv preprint arXiv:2512.20291},
year = {2026}
}