空间混合专家
机器学习
2022-11-28 v1
摘要
许多数据对空间位置具有潜在的依赖性；它可能是地球上的天气、网格上的模拟，或是配准图像。然而这一特征很少被利用，并且违反了许神经网络层（如平移等变）所做的常见假设。此外，许多融入局部性的工作未能捕捉细粒度结构。为此，我们引入了空间混合专家（SMoE）层，一种稀疏门控层，可学习输入域中的空间结构，并在细粒度层面对专家进行路由以利用其结构。我们还开发了训练 SMoE 的新技术，包括自监督路由损失与专家误差阻尼。最后，我们在众多任务上展示了 SMoE 的强劲结果，并在中期天气预测与集合天气预报后处理上取得了新的最先进结果。
引用
@article{arxiv.2211.13491,
title = {Spatial Mixture-of-Experts},
author = {Nikoli Dryden and Torsten Hoefler},
journal= {arXiv preprint arXiv:2211.13491},
year = {2022}
}
备注
20 pages, 3 figures; NeurIPS 2022