稀疏 Mixture-of-Experts 模型中的软到硬路由

Softmax 路由方法在温度趋于零时趋于硬 top-1 路由，但在路由器出现 tie 时的极限过程是奇异的。本文为 population 中二乘损失混合专家回归的软到硬极限 developing 一种边界层微积分。对于具有 logits $a_k(x;\phi)$ 的路由器，相关局部量为 top-two margin $\Delta(x;\phi)$，相关全局量为边界质量 $\mathbb{P}(\Delta(X;\phi)\le w)$。在光滑性和横向性假设下，coarea 和管状邻域估计显示该质量随 slab 宽度的比例；在二元情形下，主导系数为路由界面上的显式面积积分。这些几何估计给出软目标 $L_\tau$ 与硬目标 $L_0$ 之间的定量界限，包括在 margin-tail 条件下 $O(\tau^\alpha)$ 的均匀比较，并给出在紧致参数空间上的 $\Gamma$-收敛。主要结论是，零温度近似值由 $O(\tau)$ 邻域的路由界面所携带的概率所支配，而非仅由温度决定。