基于蒸馏分层神经集成的任意时刻推理
计算机视觉与模式识别
2020-12-15 v3
摘要
深度神经网络中的推理可能计算代价高昂，而在计算量或输入数据量随时间变化的场景中，具备任意时刻推理能力的网络十分重要。在此类网络中，推理过程可被中断以更快地给出结果，或继续进行以获得更准确的结果。我们提出分层神经集成（HNE），一种将多个网络以分层树结构嵌入、共享中间层的新框架。在 HNE 中，我们通过评估集成中更多或更少的模型来即时控制推理复杂度。我们的第二个贡献是一种新颖的分层蒸馏方法，以提升小型集成的预测精度。该方法利用我们集成的嵌套结构，在个体模型间最优地分配精度与多样性。我们的实验表明，与以往的任意时刻推理模型相比，HNE 在 CIFAR-10/100 和 ImageNet 数据集上提供了 SOTA 的精度-计算权衡。
引用
@article{arxiv.2003.01474,
title = {Anytime Inference with Distilled Hierarchical Neural Ensembles},
author = {Adria Ruiz and Jakob Verbeek},
journal= {arXiv preprint arXiv:2003.01474},
year = {2020}
}