超越内存节省：零阶优化缓解持续学习中的遗忘
机器学习
2026-03-13 v3 计算机视觉与模式识别
摘要
零阶（ZO）优化作为一阶（FO）方法的一种内存高效替代方案而受到关注，特别是在梯度计算昂贵甚至不可行的场景中。除了其内存效率之外，在这项工作中，我们研究了用于持续学习（CL）的 ZO 优化，将其作为解决可塑性-稳定性-效率三难困境的一种新方法。通过理论分析和实证证据，我们表明 ZO 优化自然会导致更平坦的损失景观，这反过来减少了 CL 中的遗忘。然而，这种稳定性是以可塑性为代价的：由于其不精确的梯度估计和较慢的收敛速度，ZO 优化在获取新的任务特定知识方面往往不如 FO 有效，特别是在训练预算受限的情况下。为了更好地理解这种权衡，我们对应用于各种现有 CL 方法的 ZO 优化进行了整体评估。我们的研究结果表明，ZO 优化增强了稳定性，但常常损害可塑性，特别是在与可学习分类器一起使用时。受此洞察启发，我们提出了 ZO-FC，一种简单但有效的方法，它将 ZO 优化应用于单个基于适配器的 PEFT 模块，并带有 FO 优化的分类器。这种设计利用了 ZO 的稳定性优势，同时以可忽略的内存开销保留了 FO 更新的适应性。实验表明，ZO-FC 在稳定性和可塑性之间实现了有效的平衡，为设备端 CL 提供了一种实用且内存高效的解决方案。
引用
@article{arxiv.2510.21019,
title = {More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning},
author = {Wanhao Yu and Zheng Wang and Shuteng Niu and Sen Lin and Li Yang},
journal= {arXiv preprint arXiv:2510.21019},
year = {2026}
}