MDCS：面向长尾识别的更具多样性专家与一致性自蒸馏方法

近年来，多专家方法在长尾识别（LTR）中取得了显著改进。我们总结出有待进一步增强以促进LTR提升的两个方面：（1）更具多样性的专家；（2）更低的模型方差。然而，先前的方法未能很好地处理它们。为此，我们提出更具多样性专家与一致性自蒸馏（MDCS）以弥补早期方法留下的空白。我们的MDCS方法包含两个核心组件：多样性损失（DL）与一致性自蒸馏（CS）。具体而言，DL通过控制专家对不同类别的关注来促进专家间的多样性。为降低模型方差，我们采用KL散度将弱增强实例的更丰富知识蒸馏用于专家的自蒸馏。特别地，我们设计置信实例采样（CIS）以筛选正确分类的实例用于CS，从而避免有偏或含噪的知识。在分析与消融研究中，我们证明相比先前工作，我们的方法能有效增加专家多样性、显著降低模型方差并提升识别精度。此外，我们的DL与CS的作用是相互强化且耦合的：专家多样性受益于CS，而若无DL，CS无法取得显著效果。实验表明，我们的MDCS在CIFAR10-LT、CIFAR100-LT、ImageNet-LT、Places-LT和iNaturalist 2018五个流行长尾基准上以1% $\sim$ 2%优于当前最优方法。代码见 https://github.com/fistyee/MDCS。