超越路由：视觉混合专家中的专家调优与表征特征

混合专家(MoE)模型通常通过分析哪些类别被路由到哪些专家来进行解释。然而，路由本身并不揭示每个专家实际编码的内容。我们使用对比目标在自然图像上训练稀疏门控卷积MoE模型，并借助视觉神经科学工具来刻画专家的专化。从门级分析延伸至专家级分析，我们度量每个专家的类别可分性以及每个专家的调优特性。从类别级分析延伸至特征级解释，我们通过源自人类行为判断数据集(THINGS)派生的语义维度来解释调优。最后，我们使用调优和表征相似性分析来评估专家分配在独立初始化下的稳定性。我们发现，动画-非动画区分主导了专家分区，这一现象从路由过程到专家读取均可见，并且在独立训练的模型中保持稳定。尽管路由统计显示相对稀疏的、类别偏好的路由，但专家分析揭示了超越类别边界的连续视觉和语义维度的更广泛调优。专家彼此之间的类别可分性相似，尽管特征调优不同，这表明超越类别级分析具有解释性优势。总体而言，这些结果表明，视觉MoE中的专家专化远超类别路由，通过探索细粒度的专家级调优和表征结构来理解其工作原理更为可行。