为长尾识别蒸馏虚拟样本
计算机视觉与模式识别
2021-09-21 v3
摘要
我们从知识蒸馏的角度解决长尾视觉识别问题，提出了一种蒸馏虚拟样本（DiVE）方法。具体而言，通过将教师模型的预测视为虚拟样本，我们证明在特定约束下从这些虚拟样本中进行蒸馏等价于标签分布学习。我们表明，当虚拟样本分布比原始输入分布更平坦时，代表性不足的尾部类将获得显著改进，这在长尾识别中至关重要。所提出的 DiVE 方法可以显式地将虚拟样本分布调平。在包括大规模 iNaturalist 在内的三个基准数据集上的大量实验证明，所提出的 DiVE 方法可以显著优于最先进的方法。此外，额外的分析和实验验证了虚拟样本的解释，并展示了 DiVE 中针对长尾问题的定制设计的有效性。
引用
@article{arxiv.2103.15042,
title = {Distilling Virtual Examples for Long-tailed Recognition},
author = {Yin-Yin He and Jianxin Wu and Xiu-Shen Wei},
journal= {arXiv preprint arXiv:2103.15042},
year = {2021}
}
备注
Accepted to ICCV 2021