细看多出口架构中的分支分类器
计算机视觉与模式识别
2022-07-14 v2
摘要
多出口架构由一个主干网络和分支分类器组成，提供缩短的推理路径以减少深度神经网络的运行时间。本文中，我们分析了不同的分支模式，这些模式在分支分类器计算复杂度的分配上有所不同。恒定复杂度分支保持所有分支相同，而复杂度递增与复杂度递减分支则分别将较复杂的分支置于主干网络的较后或较前位置。通过在多个主干网络和数据集上的大量实验，我们发现复杂度递减分支比恒定复杂度或复杂度递增分支更有效，其实现了最佳的准确率-代价权衡。我们通过使用知识一致性来探究在主干网络上添加分支的影响。我们的发现表明，复杂度递减分支对主干网络特征抽象层级的干扰最小，这解释了该分支模式的有效性。
引用
@article{arxiv.2204.13347,
title = {A Closer Look at Branch Classifiers of Multi-exit Architectures},
author = {Shaohui Lin and Bo Ji and Rongrong Ji and Angela Yao},
journal= {arXiv preprint arXiv:2204.13347},
year = {2022}
}
备注
under consideration at Computer Vision and Image Understanding