神经 ODEs 无忘记调优的几何基础
机器学习
2025-09-04 v1 最优化与控制
摘要
在之前的工作中，我们引入了神经 ODEs 的无忘记调优（TwF）原则，通过迭代添加训练样本并在一阶近似意义下保持先前学习样本端点映射的控制函数子空间内更新参数。在本文中，我们证明该参数子空间在非奇异控制下形成有限坐标的巴拿赫子流形，并描述了其切空间。这表明 TwF 对应于沿该巴拿赫子流形切空间的控制函数的连续/变形，为其在精确意义上保持映射（无忘记）在顺序训练中提供了理论基础，超越一阶近似。
引用
@article{arxiv.2509.03474,
title = {Geometric Foundations of Tuning without Forgetting in Neural ODEs},
author = {Erkan Bayram and Mohamed-Ali Belabbas and Tamer Başar},
journal= {arXiv preprint arXiv:2509.03474},
year = {2025}
}