深度组合聚合

众所周知，神经网络产生的不确定性估计较差，为此已提出多种方法来解决这一问题。其中包括深度集成（deep ensemble），这是一种简单而有效的方法，在不确定性感知学习任务中取得了最先进的成果。在本工作中，我们探索了一种称为深度组合聚合（DCA）的深度集成的组合泛化。DCA创建多个网络组件实例，并聚合它们的组合以产生多样化的模型提议和预测。DCA组件可在不同粒度级别上定义。我们发现，在预测性能和不确定性估计两方面，粗粒度DCA都能优于深度集成，用于不确定性感知学习。对于细粒度DCA，我们发现一种名为深度组合权重平均（DCWA）的平均参数化方法可以改进基线训练。它与随机权重平均（SWA）相当，但不需要任何自定义训练计划或BatchNorm层的调整。此外，我们提出了一种一致性强制损失，有助于DCWA和模型级DCA的训练。我们在域内、分布偏移和分布外图像分类任务上进行了实验，并从经验上证实了DCWA和DCA方法的有效性。