IDER：面向可靠持续学习的幂等经验回放
机器学习
2026-03-04 v2 人工智能
计算机视觉与模式识别
摘要
神经网络在学习新任务时会忘记先前学习的知识，这是持续学习（CL）中的一个主要挑战。为此，提出了各种CL方法并显示出可减少遗忘。此外，部署在关键任务中的CL模型可以通过校准其预测来实现不确定性感知，以可靠地评估其置信水平。然而，现有的不确定性感知持续学习方法存在高计算开销且与主流回放方法不兼容。为此，我们提出幂等经验回放（IDER），这是一种基于幂等性质的新方法，即重复的函数应用产生相同的输出。具体而言，我们首先调整训练损失以使模型在当前数据流上具有幂等性。此外，我们引入一种幂等性蒸馏损失。我们将当前模型的输出重新输入到旧检查点中，然后最小化此重新处理输出与当前模型原始输出之间的距离。这导致一种简单有效的新基准，用于构建可靠的持续学习者，可无缝集成到其他CL方法中。在不同的CL基准测试上进行大量实验表明，IDER在提高预测可靠性的同时，还能提升准确率并降低遗忘。我们的结果表明，幂等性作为一种可为部署在现实世界应用中高效可信持续学习系统提供潜在的原理。我们的代码可在 https://github.com/YutingLi0606/Idempotent-Continual-Learning 获取。
引用
@article{arxiv.2603.00624,
title = {IDER: IDempotent Experience Replay for Reliable Continual Learning},
author = {Zhanwang Liu and Yuting Li and Haoyuan Gao and Yexin Li and Linghe Kong and Lichao Sun and Weiran Huang},
journal= {arXiv preprint arXiv:2603.00624},
year = {2026}
}
备注
Accepted by ICLR 2026