遗忘敏感，铭记关键：面向持续学习的记忆雕琢中令牌级差分隐私
人工智能
2026-05-25 v2
摘要
持续学习（Continual Learning, CL）模型虽然擅长顺序知识获取，但由于积累了多样化的信息，面临着重大且常被忽视的隐私挑战。传统的隐私方法，如统一的差分隐私（Differential Privacy, DP）预算，不加区分地保护所有数据，导致模型效用显著下降，并阻碍了 CL 在隐私敏感领域的部署。为克服此问题，我们提出了一个遗忘敏感信息、铭记关键知识的隐私增强持续学习（PeCL）框架。我们的方法首先引入了一种令牌级动态差分隐私策略，该策略根据单个令牌的语义敏感性自适应地分配隐私预算。这确保了对私有实体的鲁棒保护，同时最大限度地减少了对非敏感的通用知识的噪声注入。其次，我们集成了一个隐私引导的记忆雕琢模块。该模块利用我们动态 DP 机制的敏感性分析，智能地从模型记忆和参数中遗忘敏感信息，同时明确保留对缓解灾难性遗忘至关重要的任务不变历史知识。大量实验表明，PeCL 在隐私保护与模型效用之间取得了优越的平衡，通过在保持高精度的同时确保稳健的隐私，优于基线模型。
引用
@article{arxiv.2509.12958,
title = {Forget What's Sensitive, Remember What Matters: Token-Level Differential Privacy in Memory Sculpting for Continual Learning},
author = {Bihao Zhan and Jie Zhou and Junsong Li and Yutao Yang and Shilian Chen and Qianjun Pan and Xin Li and Wen Wu and Xingjiao Wu and Qin Chen and Hang Yan and Liang He},
journal= {arXiv preprint arXiv:2509.12958},
year = {2026}
}