迈向长尾识别中的有效协作学习
计算机视觉与模式识别
2023-05-08 v1 机器学习
摘要
现实世界数据通常存在严重的类别不平衡与长尾分布，少数类相比多数类显著欠表示。近期研究倾向于利用多专家架构来缓解模型在少数类上的不确定性，其中采用协作学习来聚合专家知识，即在线蒸馏。在本文中，我们观察到专家之间的知识迁移在类别分布上是不平衡的，这导致少数类的性能提升有限。为此，我们通过比较两个分类器的预测（分别由在线蒸馏和标签标注监督）提出了一种重加权蒸馏损失。我们还强调，特征级蒸馏将显著提升模型性能并增强特征鲁棒性。最后，我们提出了一种有效协作学习（ECL）框架，其集成了对比代理任务分支以进一步提升特征质量。在四个标准数据集上的定量与定性实验表明，ECL 取得了最先进（SOTA）性能，详细的消融研究证明了 ECL 中各组件的有效性。
引用
@article{arxiv.2305.03378,
title = {Towards Effective Collaborative Learning in Long-Tailed Recognition},
author = {Zhengzhuo Xu and Zenghao Chai and Chengyin Xu and Chun Yuan and Haiqin Yang},
journal= {arXiv preprint arXiv:2305.03378},
year = {2023}
}