组集成：在单个 ConvNet 中学习 ConvNet 集成
计算机视觉与模式识别
2020-07-02 v1 机器学习
摘要
集成学习是机器学习中提升准确率的通用技术。然而，ConvNet 集成的沉重计算限制了其在深度学习中的使用。本文提出组集成网络 (GENet)，一种在单个 ConvNet 中融入 ConvNet 集成的架构。通过共享基与多头结构，GENet 被划分为若干组，使得在单个 ConvNet 中显式集成学习成为可能。得益于组卷积与共享基，GENet 可充分利用显式集成学习的优势，同时保持与单个 ConvNet 相同的计算量。此外，我们提出组平均、组 Wagging 与组提升作为聚合这些集成成员三种不同策略。最终，GENet 在 CIFAR 与 ImageNet 上优于更大的单一网络、更小网络的标准集成以及其他近期 SOTA 方法。具体而言，组集成使 ResNeXt-50 在 ImageNet 上的 top-1 误差降低 1.83%。我们还在动作识别与目标检测任务上展示了其有效性。
引用
@article{arxiv.2007.00649,
title = {Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet},
author = {Hao Chen and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2007.00649},
year = {2020}
}