面向宏观 AUC 的不平衡多标签持续学习
机器学习
2024-12-25 v1
摘要
在持续学习(CL)中,虽然已有大量工作专注于多类分类任务,但针对多标签学习(MLL)的研究仍有限。实际情况下,MLL 数据集常呈现类别不平衡,这使得该任务本身就具有挑战性,而在 CL 场景下这一问题更为突出。由于其对不平衡数据的敏感性,宏观 AUC 是 MLL 中合适且广泛使用的度量指标。然而,目前尚无针对 MLCL 的 Macro-AUC 进行优化的研究。为填补这一空白,本文提出了一种新的基于内存回放的方法,以解决 MLCL 中宏观 AUC 的不平衡问题。具体而言,我们受最新理论工作的启发,提出了一种新的重加权标签分布感知边际损失(RLDAM)。此外,为适配 RLDAM 损失,我们提出了一种新的内存更新策略,称为 Weight Retain Updating(WRU),以在内存中维持原始数据集中正负实例的数量。理论上,我们分别在批处理 MLL 和 MLCL 设置下对 RLDAM 基于算法的宏观 AUC 进行优越的泛化分析。这据称是已知的首个在 MLCL 中提供理论泛化分析工作。最后,一系列实验结果说明了我们方法在多个基准上的有效性。我们的代码已公开于 https://github.com/ML-Group-SDU/Macro-AUC-CL。
引用
@article{arxiv.2412.18231,
title = {Towards Macro-AUC oriented Imbalanced Multi-Label Continual Learning},
author = {Yan Zhang and Guoqiang Wu and Bingzheng Wang and Teng Pang and Haoliang Sun and Yilong Yin},
journal= {arXiv preprint arXiv:2412.18231},
year = {2024}
}
备注
7 pages of main text, 11 pages of appendix, accepted to AAAI 2025