ErrorEraser：消除数据偏差以改进持续学习
机器学习
2025-06-12 v1 人工智能
摘要
持续学习（Continual Learning, CL）主要旨在保留知识以防止灾难性遗忘，并迁移知识以促进新任务的学习。与传统方法不同，我们提出了一种新视角：CL 不仅需要防止遗忘，还需要有意遗忘。这是因为现有 CL 方法忽略了真实数据中的偏差，导致模型学习到跨任务迁移并放大的虚假相关。从特征提取和预测结果来看，我们发现数据偏差同时削弱了 CL 保留知识和迁移知识的能力。为此，我们提出了 ErrorEraser，一个用于消除持续学习中由偏差引起的错误记忆的通用插件，从而提升新任务和旧任务的性能。ErrorEraser 由两个模块组成：错误识别（Error Identification）和错误擦除（Error Erasure）。前者在没有先验知识的情况下学习特征空间中任务数据的概率密度分布，从而准确识别可能有偏差的样本。后者通过移动代表性异常样本的决策空间，确保仅擦除错误知识。此外，设计了一种增量特征分布学习策略，以减少下游任务中错误识别的资源开销。大量实验结果表明，ErrorEraser 显著减轻了数据偏差的负面影响，在三种类型的持续学习方法中实现了更高的准确率和更低的遗忘率。代码地址：https://github.com/diadai/ErrorEraser。
引用
@article{arxiv.2506.09347,
title = {ErrorEraser: Unlearning Data Bias for Improved Continual Learning},
author = {Xuemei Cao and Hanlin Gu and Xin Yang and Bingjun Wei and Haoyang Liang and Xiangkun Wang and Tianrui Li},
journal= {arXiv preprint arXiv:2506.09347},
year = {2025}
}
备注
12 pages