兼容偏移下基于共享流形延续的持续学习
机器学习
2026-03-23 v1
摘要
持续学习方法通常通过正则化参数、匹配旧输出或回放先前示例来保存旧行为。但这些策略仅能减少遗忘，却未能直接指导潜在表示如何演化。我们研究一种更窄化的几何替代方案，针对旧数据和新数据应保持在相同潜在支撑域的情形：将持续学习视为共享流形的延续。在Support-Preserving Manifold Assimilation (SPMA)中实现此观点，并评估一种几何保持变体SPMA-OG，该变体结合稀疏回放、输出蒸馏、关系几何保持、局部平滑和在旧锚点上的图表分配正则化。在代表性兼容偏移的 CIFAR10 和 Tiny-ImageNet 实验中，SPMA-OG 在旧任务保持和表示保持指标上优于稀疏回放基线，同时在新任务准确率上保持竞争力。在受控的合成流形基准测试中，它实现了近乎完美的锚点几何保持，同时也在新任务准确率上优于回放方法。这些结果表明，当持续学习应保持共享潜在支撑域而非创建新支撑域时，几何感知的锚点正则化是一种有用的归纳偏置。
引用
@article{arxiv.2603.20036,
title = {Continual Learning as Shared-Manifold Continuation Under Compatible Shift},
author = {Henry J. Kobs},
journal= {arXiv preprint arXiv:2603.20036},
year = {2026}
}
备注
11 pages, 4 figures, repo: https://github.com/kkryon/spma