具有自适应路由的专家软合并
机器学习
2024-05-14 v2
摘要
具有条件计算的稀疏激活神经网络学习将其输入路由通过不同的“专家”子网络，提供了一种密集激活模型所缺乏的模块化形式。尽管可能有诸多益处，具有学习路由的模型通常表现不如其参数量匹配的密集激活对应模型，也不如采用非学习启发式路由策略的模型。在本文中，我们假设这些缺陷源于用于训练采用不可微离散路由决策的稀疏激活模型的梯度估计技术。为解决此问题，我们提出具有自适应路由的专家软合并（SMEAR），其通过使用由所有专家参数加权平均构建的单一“合并”专家来避免离散路由。通过将激活路由通过单一合并专家，SMEAR 不会带来显著的计算成本增加，并支持标准基于梯度的训练。我们经实证验证，使用 SMEAR 的模型优于基于元数据路由或通过梯度估计学习稀疏路由的模型。此外，我们提供定性分析表明通过 SMEAR 学习的专家表现出显著的专门化。我们实验中使用的所有代码均公开可用。
引用
@article{arxiv.2306.03745,
title = {Soft Merging of Experts with Adaptive Routing},
author = {Mohammed Muqeeth and Haokun Liu and Colin Raffel},
journal= {arXiv preprint arXiv:2306.03745},
year = {2024}
}