向多位专家学习：面向长尾分类的自步知识蒸馏
计算机视觉与模式识别
2020-09-22 v3 机器学习
机器学习
摘要
在真实场景中，数据往往呈现长尾分布，这增加了训练深度网络的难度。本文提出一种新颖的自步知识蒸馏框架，称为向多位专家学习（LFME）。我们的方法受到如下观察的启发：在分布中较不均衡子集上训练的网络通常比联合训练的对应网络表现更好。我们将这些模型称为“专家”，所提出的 LFME 框架聚合来自多个“专家”的知识以学习一个统一的学生模型。具体而言，该框架包含两级自适应学习调度：自步专家选择与课程实例选择，从而将知识自适应地迁移至“学生”。我们进行了大量实验，表明我们的方法相比最先进（SOTA）方法能够取得更优性能。我们还展示了我们的方法可以轻松插入最先进的长尾分类算法中以进一步提升效果。
引用
@article{arxiv.2001.01536,
title = {Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification},
author = {Liuyu Xiang and Guiguang Ding and Jungong Han},
journal= {arXiv preprint arXiv:2001.01536},
year = {2020}
}
备注
ECCV 2020 Spotlight