网络分裂集成用于低成本自集成

最近的图像分类集成方法已显示出以低额外成本提高分类准确率的效果。然而，这些方法仍需要用于集成推断的多个训练模型，随着模型规模增大，这最终成为一个显著的负担。本文提出一种低成本集成学习和推断方法，称为网络分裂集成（NFE），通过将常规网络本身转换为多出口结构来实现。从给定的初始网络开始，我们首先修剪一些权重以减少训练负担。随后，我们将剩余权重分组为多个集合，并使用每个集合创建多个辅助路径以构建多出口。我们称此过程为网络分裂。通过此过程，可以从单个网络获取多个输出，从而实现集成学习。由于此过程仅改变现有网络结构为多出口而不使用额外网络，因此集成学习和推断没有额外的计算负担。此外，通过学习来自所有出口的多个损失，多出口通过正则化实现性能提升，即使网络稀疏度增加也能实现高性能。凭借简单而有效的方法，我们实现了对现有集成方法的显著性改进。代码已提供，链接为 https://github.com/hjdw2/NFE。