通过保留良性并消除恶性动量因果效应实现长尾分类
计算机视觉与模式识别
2025-10-28 v5 机器学习
机器学习
摘要
随着类别数量增长，在众多类别间维持平衡数据集颇具挑战，因为数据本质上呈长尾分布；当关注样本在可收集单元(如一幅图像中的多个视觉实例)中相互共存时，这甚至不可能。因此，长尾分类是大规模深度学习的关键。然而，现有方法主要基于缺乏根本理论的重加权/重采样启发式。本文中，我们建立了一种因果推断框架，其不仅揭示了以往方法的缘由，还推导出一种新颖的基于原则的解决方案。具体而言，我们的理论表明SGD动量本质上是长尾分类中的混杂因子。一方面，它具有有害因果效应，使尾部预测偏向头部。另一方面，其诱导的中介效应也有利于表示学习与头部预测。我们的框架通过追求由输入样本引起的直接因果效应，优雅地解开了动量的矛盾效应。特别地，我们在训练中使用因果干预，在推断中使用反事实推理，以去除“恶性”而保留“良性”。我们在三个长尾视觉识别基准上取得了新的最先进水平(state-of-the-arts)：用于图像分类的Long-tailed CIFAR-10/-100、ImageNet-LT，以及用于实例分割的LVIS。
引用
@article{arxiv.2009.12991,
title = {Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect},
author = {Kaihua Tang and Jianqiang Huang and Hanwang Zhang},
journal= {arXiv preprint arXiv:2009.12991},
year = {2025}
}
备注
This paper is accepted by NeurIPS 2020. The code is available on GitHub: https://github.com/KaihuaTang/Long-Tailed-Recognition.pytorch