基于合成边界经验混合的持续学习
机器学习
2025-11-11 v2 计算机视觉与模式识别
摘要
持续学习（Continual Learning, CL）旨在在顺序训练多个任务时缓解模型的灾难性遗忘。常见方法包括经验回放（Experience Replay, ER），该方法存储过去的 exemplars，但仅稀疏地近似数据分布，导致决策边界不稳健且过于简化。我们通过引入合成边界数据（synthetic boundary data, SBD），该数据通过差分隐私生成：向潜在特征中注入灵感噪声，以创建接近边界的表示，从而隐式正则化决策边界。基于此思想，我们提出了经验混合（Experience Blending, EB）框架，通过双模型聚合策略联合训练 exemplars 和 SBD。EB包含两个组成部分：（1）在潜在空间注入噪声以合成边界数据，（2）端到端训练联合利用 exemplars 和 SBD。与标准经验回放不同，SBD丰富了决策边界附近的特征空间，实现更稳定和稳健的持续学习。在CIFAR-10、CIFAR-100和Tiny ImageNet上进行的大量实验表明，相对于强大基线，准确率分别提升了10%、6%和13%。
引用
@article{arxiv.2507.23534,
title = {Continual Learning with Synthetic Boundary Experience Blending},
author = {Chih-Fan Hsu and Ming-Ching Chang and Wei-Chao Chen},
journal= {arXiv preprint arXiv:2507.23534},
year = {2025}
}