为何 M 个头优于一个：训练深度网络的多样性集成
计算机视觉与模式识别
2015-11-20 v1 机器学习
神经与进化计算
摘要
卷积神经网络在广泛的任务上取得了最先进的性能。大多数基准测试的榜首均由这些强大学习器的集成所占据，但集成通常被视为一种事后过程，通过对独立训练的模型进行平均来实现，并通过 bagging 或随机初始化来引入模型变化。在本文中，我们将集成严格地视为一个首要问题，以明确探讨：创建集成的最佳策略是什么？我们首先比较了大量的集成策略，然后提出并评估了新的策略，例如参数共享（通过我们称之为 TreeNets 的新模型系列实现），以及在集成感知和鼓励多样性的损失下进行训练。我们证明，TreeNets 可以提升集成性能，并且可以在统一损失下端到端地训练多样性集成，从而获得比经典集成显著更高的“预言机”准确率。
引用
@article{arxiv.1511.06314,
title = {Why M Heads are Better than One: Training a Diverse Ensemble of Deep Networks},
author = {Stefan Lee and Senthil Purushwalkam and Michael Cogswell and David Crandall and Dhruv Batra},
journal= {arXiv preprint arXiv:1511.06314},
year = {2015}
}