通过随机训练层集成正则化神经网络
机器学习
2019-11-22 v1 机器学习
摘要
Dropout及类似的随机神经网络正则化方法常被解释为隐式地对大型模型集成取平均。我们提出STE（随机训练集成）层，其通过以随机正则化训练权重矩阵集成并显式平均输出，增强了此类方法的平均性质。这在测试时无需额外计算成本的情况下提供了更强的正则化。我们使用标准网络拓扑在各种图像分类任务上展示了持续的改进。
引用
@article{arxiv.1911.09669,
title = {Regularizing Neural Networks by Stochastically Training Layer Ensembles},
author = {Alex Labach and Shahrokh Valaee},
journal= {arXiv preprint arXiv:1911.09669},
year = {2019}
}