FIRE：基于Frobenius-等距重初始化以平衡稳定性-塑性性权衡
机器学习
2026-04-02 v3 人工智能
摘要
在非平稳数据上训练的深度神经网络必须在稳定性（即保留先前知识）和塑性（即适应新任务）之间进行平衡。标准的重初始化方法会将权重重新初始化为其原始值，这些方法广泛使用但难以调谐：保守的重初始化未能恢复塑性，而激进的重初始化则会抹去有用的知识。我们提出FIRE方法，通过显式平衡稳定性-塑性性权衡来进行重初始化。FIRE通过平方Frobenius误差（SFE）量化稳定性，衡量与过往权重的接近程度；通过偏离等距（DfI）反映权重的各向同性性。重初始化点通过求解受约束优化问题获得，即在DfI为零的条件下最小化SFE，这可以通过Newton-Schulz迭代高效近似。FIRE在持续视觉学习（CIFAR-10上ResNet-18）、语言建模（OpenWebText上GPT-0.1B）以及强化学习（HumanoidBench上的SAC与Atari游戏上的DQN）上进行评估。在所有领域中，FIRE均一致优于旁路训练（无干预）和标准重初始化方法，证明其有效平衡了稳定性-塑性性权衡。
引用
@article{arxiv.2602.08040,
title = {FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff},
author = {Isaac Han and Sangyeon Park and Seungwon Oh and Donghu Kim and Hojoon Lee and Kyung-Joong Kim},
journal= {arXiv preprint arXiv:2602.08040},
year = {2026}
}
备注
ICLR'26 (oral)