BID-LoRA：面向持续学习与遗忘的参数高效框架
机器学习
2026-04-15 v1 人工智能
摘要
深度学习的最新进展凸显了系统性需求：不仅要通过持续学习（Continual Learning, CL）获取新知识，还能通过机器遗忘（Machine Unlearning, MU）删除过时、敏感或私有信息。然而，尽管持续学习方法已相当成熟，机器遗忘技术仍处于早期阶段，导致统一框架存在关键缺口。我们发现，盲目组合现有CL与MU方法会导致知识泄漏，即在反复适应循环中逐渐损害基础知识。为此，我们将持续学习遗忘（Continual Learning Unlearning, CLU）形式化为统一范式，确立三个关键目标：（i）精准删除不需要的知识，（ii）在保持先前信息的前提下高效整合新知识，（iii）最小化跨循环的知识泄漏。我们提出双向低秩适配（Bi-Directional Low-Rank Adaptation, BID-LoRA），一种新型框架，包含三个专用适配路径——保留、新增与遗忘，应用于注意力层，并结合逃逸式遗忘技术，将遗忘类别嵌入推至与保留知识 maximally 远离的位置，仅更新5%的参数。在CIFAR-100上的实验表明，BID-LoRA在多个适应循环中超越CLU基线。我们进一步在CASIA-Face100上进行评估，展示其在实际身份管理系统中的应用价值——新用户需注册，已注销用户需被移除。
引用
@article{arxiv.2604.12686,
title = {BID-LoRA: A Parameter-Efficient Framework for Continual Learning and Unlearning},
author = {Jagadeesh Rachapudi and Ritali Vatsi and Praful Hambarde and Amit Shukla},
journal= {arXiv preprint arXiv:2604.12686},
year = {2026}
}