通过稀疏 Mixture-of-Experts 路由消除多物理学基础模型中的负迁移

将科学机器学习 (SciML) 向通用基础模型扩展受负迁移瓶颈限制： disparate 偏微分方程 (PDE) 区域的同时协训练可能导致梯度冲突、优化不稳定和塑性损失。特别是，宽带开放河道流体动力学和边界支配的多孔介质流动对单一稠密参数路径施加不兼容的谱和几何要求。我们引入 Shodh-MoE，一种用于多物理传输的稀疏激活潜在变换器架构。Shodh-MoE operates on 由物理信息自编码器压缩的 16^3 物理潜在特征上，采用类希尔伯特速度参数化的 intra-tokenizer，限制解码状态位于无散度速度流形中。该模型保证严格质量守恒，在 128^3 网格上实现约 $2.8 \times 10^{-10}$ 的可验证速度散度（在 FP64 中后验评估）。一个 Top-1 软语义路由器动态将局部潜在块分配给专家子网络，为不同物理机制启用专用参数路径，同时保留共享专家以处理通用对称性。在 20,000 步分布式预训练运行中，路由遥测显示自主域分裂：来自开放河道域的 held-out 验证标记专门路由至 Expert 0，而多孔介质标记路由至 Expert 1。该模型在两个领域同时收敛，实现潜在验证 MSE 为 $2.46 \times 10^{-5}$ 和 $9.76 \times 10^{-6}$，解码物理 MSE 为 $2.48 \times 10^{-6}$ 和 $1.76 \times 10^{-6}$。这些结果表明稀疏专家路由是缓解通用神经算子中多物理学干扰的实用架构机制。