增强一致性并减轻偏差：一种面向增量学习的数据回放方法
计算机视觉与模式识别
2025-03-11 v2
摘要
深度学习系统在从一系列任务中学习时容易发生灾难性遗忘，因为学习新任务时来自先前任务的旧数据不可用。为解决此问题，一些方法提出在新任务学习期间回放先前任务的数据，通常使用额外内存来存储回放数据。然而，由于内存限制与数据隐私问题，这在实践中并非预期之举。取而代之的是，无数据回放方法从分类模型中反转样本。这些方法虽有效，却面临反转数据与真实训练数据之间的不一致性问题，这在近期工作中被忽视了。为此，我们提出通过一些简化与假设来定量衡量数据一致性。借助这一度量，我们获得洞察，开发了一种减少不一致性的新颖损失函数。具体而言，该损失在关联多元高斯假设下最小化反转数据与真实数据分布之间的 KL 散度，这在持续学习中易于实现。此外，我们观察到随着学习进行，旧类别的权重范数持续减小。我们分析了原因，并提出一个正则化项来平衡类别权重，使旧类别样本更具可区分性。总之，我们引入了面向类别增量学习的、带有去偏分类器的一致性增强数据回放方法 (CwD)。在 CIFAR-100、Tiny-ImageNet 与 ImageNet100 上的大量实验表明，CwD 相较于先前方法具有持续提升的性能。
引用
@article{arxiv.2401.06548,
title = {Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning},
author = {Chenyang Wang and Junjun Jiang and Xingyu Hu and Xianming Liu and Xiangyang Ji},
journal= {arXiv preprint arXiv:2401.06548},
year = {2025}
}
备注
The paper is accepted as a regular paper of Neural Networks. See the published version in https://www.sciencedirect.com/science/article/pii/S0893608024009821