小奇异值用于持续学习的零空间学习
机器学习
2026-02-26 v1 计算机视觉与模式识别
摘要
在持续学习（CL）中，缓解灾�性遗忘同时实现进一步学习是首要挑战。正交化基于方法因其高效和强大理论属性而受到关注，许多现有方法通过梯度投影实现正交化。在本文中，我们重新审视正交化，利用小奇异值对应于几乎正交于先前任务输入空间的方向这一事实。基于此原理，我们引入 NESS（Null-space Estimated from Small Singular values），一种 CL 方法，直接在权重空间而非通过梯度操作实现正交化。具体而言，NESS 通过每层输入表示中最小奇异值的近似核构建近似零空间，并通过受约束于该子空间的紧凑低秩适应（类似 LoRA）表述来参数化任务特定更新。该子空间基固定以保持零空间约束，仅学习每个任务的单个可训练矩阵。该设计确保所得更新大致位于先前输入的零空间中，同时能够适应新任务。我们的理论分析和三个基准数据集上的实验表明，NESS 表现出竞争性能、低遗忘和跨任务稳定精度，凸显了小奇异值在持续学习中的作用。代码已公开于 https://github.com/pacman-ctm/NESS。
引用
@article{arxiv.2602.21919,
title = {Learning in the Null Space: Small Singular Values for Continual Learning},
author = {Cuong Anh Pham and Praneeth Vepakomma and Samuel Horváth},
journal= {arXiv preprint arXiv:2602.21919},
year = {2026}
}
备注
17 pages, accepted as Oral presentation at the Third Conference on Parsimony and Learning (CPAL 2026)