基于SVD引导的正交子空间投影用于持续机器无知识
机器学习
2026-04-15 v1 人工智能
摘要
持续机器无知识旨在在删除不再需要保留的数据的同时，保持模型对其他内容的有用性。当删除请求顺序到达时，这一设定尤为困难，因为模型必须在不擦除先前保留知识的前提下反复调整。低秩适应（LoRA）提供了一种高效实施此类更新的方法，但 naively 组合多个顺序LoRA模块会导致参数冲突，引发任务之间强烈干扰。我们提出一种基于奇异值分解（SVD）引导的静态正交子空间投影方法。该方法约束每个新的LoRA更新在训练期间位于早期无知识任务所用子空间的正交补中。这一方法无需在部署时进行动态路由，即可实现任务隔离。在CIFAR-100上的ResNet-20和MNIST上进行实验，显示该方法在长时间的无知识任务序列中表现稳定。在完成30次顺序无知识任务后，采用SOTA静态融合方法的保留准确率从60.39%降至12.70%，而本文提出的训练时受约束优化方法保持了约58.1%的基准性能，同时保持强大的无知识效能。
引用
@article{arxiv.2604.12526,
title = {Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA},
author = {Yogachandran Rahulamathavan and Nasir Iqbal and Juncheng Hu and Sangarapillai Lambotharan},
journal= {arXiv preprint arXiv:2604.12526},
year = {2026}
}