基于焦点多样性的深度集成层次化剪枝

深度神经网络集成结合多个深度神经网络的智慧，以提升相对于单个网络的泛化性与鲁棒性。研究深度集成技术在深度学习界日益受到关注。一些任务关键型应用利用大量深度神经网络构成深度集成，以达到所需精度与弹性，但这为集成执行引入了高昂的时间与空间开销。然而，整个深度集成的一个小子集能否达到相同或更优的泛化性，以及如何有效识别这些小型深度集成以提升集成执行的空间与时间效率，仍是一大关键挑战。本文提出一种新颖的深度集成剪枝方法，可高效识别更小的深度集成，并提供高于由大量成员网络构成的整个深度集成的精度。我们的层次化集成剪枝方法（HQ）利用了三种新颖的集成剪枝技术。首先，我们表明焦点多样性度量能准确捕捉集成成员网络的互补能力，从而指导集成剪枝。其次，我们设计了一种基于焦点多样性的层次化剪枝方法，可迭代地以低成本和高精度寻找高质量深度集成。第三，我们开发了焦点多样性共识方法，整合多种焦点多样性度量以精炼集成剪枝结果，从而有效识别可提供高精度、高鲁棒性与高效率的更小深度集成。使用流行基准数据集评估，我们证明所提层次化集成剪枝方法可有效识别具有更优泛化性的高质量深度集成，同时在集成决策中更具时间与空间效率。