AIR：连续学习中的解析不平衡矫正器
机器学习
2024-08-21 v1 计算机视觉与模式识别
摘要
连续学习使 AI 模型能够在不进行重新训练的情况下顺序学习新数据。大多数现有方法假设训练数据是平衡的，旨在减少模型倾向于忘记先前数据所产生的灾难性遗忘问题。然而，现实世界情景下的数据不平衡以及新旧数据混合，导致模型忽略样本较少的类别。为解决此问题，我们提出了一种解析不平衡矫正器算法（AIR），这是一种新的在线无示例连续学习方法，针对现实世界连续学习中的数据不平衡类别递增学习（CIL）和广义 CIL 场景提供解析（即闭式）解。AIR 引入了解析重加权模块（ARM），用于计算每个类别的重加权因子，以平衡每个类别对总损失的贡献，从而解决数据不平衡训练的问题。AIR 使用最小二乘法给出非歧视的最优分类器及其在连续学习中的迭代更新方法。在多个数据集上的实验结果表明，AIR 在长尾和广义 CIL 场景中显著优于现有方法。源代码可在 https://github.com/fang-d/AIR 获取。
引用
@article{arxiv.2408.10349,
title = {AIR: Analytic Imbalance Rectifier for Continual Learning},
author = {Di Fang and Yinan Zhu and Runze Fang and Cen Chen and Ziqian Zeng and Huiping Zhuang},
journal= {arXiv preprint arXiv:2408.10349},
year = {2024}
}