用于学习条件通道门控网络的批整形
机器学习
2020-04-06 v4 计算机视觉与模式识别
机器学习
摘要
我们提出一种方法,以显著更高的准确率和更低的动态计算代价训练大容量神经网络。我们通过以细粒度级别门控深度学习架构来实现这一点。单个卷积特征图根据网络中的特征被有条件地开启/关闭。为此,我们引入一种新的残差块架构,以细粒度方式门控卷积通道。我们还引入一个普遍适用的工具 -(批整形),它将神经网络中特征的边际聚合后验匹配到预先指定的先验分布。我们使用这一新技术迫使门控更多地以数据为条件。我们给出了在 CIFAR-10 和 ImageNet 数据集上的图像分类结果,以及在 Cityscapes 上的语义分割结果。我们的结果表明,我们的方法可以有条件地精简大型架构,使得数据上的平均计算代价与较小架构相当,但具有更高准确率。特别地,在 ImageNet 上,我们的 ResNet50 和 ResNet34 门控网络获得了 74.60% 和 72.55% 的 top-1 准确率,而基线 ResNet18 模型的准确率为 69.76%,复杂度相近。我们还表明,所得网络自动学习对困难样本使用更多特征,对简单样本使用更少特征。
引用
@article{arxiv.1907.06627,
title = {Batch-Shaping for Learning Conditional Channel Gated Networks},
author = {Babak Ehteshami Bejnordi and Tijmen Blankevoort and Max Welling},
journal= {arXiv preprint arXiv:1907.06627},
year = {2020}
}
备注
Published as a conference paper at ICLR 2020