分层混合专家中的 Dropout 正则化
机器学习
2018-12-27 v1 机器学习
摘要
Dropout 是防止过拟合的非常有效的方法，近年来已成为多层神经网络的首选正则化器。分层混合专家是一种分层门控模型，定义了一个软决策树，其中叶节点对应专家，决策节点对应软选择其子节点的门控模型，因此该模型定义了输入空间的软分层划分。本工作中，我们提出一种忠于模型所定义树结构的分层混合专家 dropout 变体，而非像多层感知机那样平铺、按单元独立地应用 dropout。我们展示在合成回归数据及 MNIST 与 CIFAR-10 数据集上，我们提出的 dropout 机制可防止多层级树的过拟合，改善泛化并提供更平滑的拟合。
引用
@article{arxiv.1812.10158,
title = {Dropout Regularization in Hierarchical Mixture of Experts},
author = {Ozan İrsoy and Ethem Alpaydın},
journal= {arXiv preprint arXiv:1812.10158},
year = {2018}
}