基于知识挖掘的自异构集成长尾视觉识别
计算机视觉与模式识别
2023-04-07 v2
摘要
深度神经网络在过去几十年中取得了巨大进展。然而，由于真实世界数据常呈现长尾分布，朴素深度模型往往严重偏向多数类。为解决此问题，最先进的方法通常采用混合专家(MoE)来关注长尾分布的不同部分。这些方法中的专家具有相同的模型深度，忽视了不同类可能偏好由不同深度的模型拟合这一事实。为此，我们提出了一种新颖的基于 MoE 的方法，称为自异构集成与知识挖掘(SHIKE)。我们首先提出深度方向知识融合(DKF)，在每个专家的单网络中融合不同浅层部分与深层部分之间的特征，使专家在表征上更具多样性。基于 DKF，我们进一步提出动态知识迁移(DKT)，以减少在我们的 MoE 框架中对尾类有不可忽略影响的最难负类的影响。因此，长尾数据的分类准确率可显著提升，尤其是尾类。SHIKE 在 CIFAR100-LT (IF100)、ImageNet-LT、iNaturalist 2018 和 Places-LT 上分别取得了 56.3%、60.3%、75.4% 和 41.9% 的当前最优性能。
引用
@article{arxiv.2304.01279,
title = {Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation},
author = {Yan Jin and Mengke Li and Yang Lu and Yiu-ming Cheung and Hanzi Wang},
journal= {arXiv preprint arXiv:2304.01279},
year = {2023}
}
备注
CVPR 2023