分支还是层？视觉语言模型持续学习的零阶优化
计算机视觉与模式识别
2026-01-12 v3
摘要
视觉语言持续学习因其强大的能力而吸引了大量研究关注，而参数高效微调策略的采用使这些模型能够以大幅降低的资源消耗实现具有竞争力的性能。然而，占主导地位的一阶优化容易将模型困于次优局部极小值中，尤其是在PEFT中有限的探索子空间内。为克服这一挑战，本文开创性地探索了将零阶优化应用于基于PEFT的视觉语言持续学习。我们首先识别出在VLCL中朴素地全采用零阶优化由于优化过程的不稳定性而存在的不兼容性。然后，我们从模态分支层面到细粒度的层层面考察了零阶优化在各种训练单元上的应用，以确定最优策略。此外，一个关键理论洞察揭示了在VLCL的零阶优化过程中视觉模态比语言对应模态表现出更高的方差，我们提出了一种模态感知的零阶策略，该策略在零阶优化中采用梯度符号归一化并约束视觉模态扰动以进一步提升性能。得益于零阶优化的采用，基于PEFT的视觉语言持续学习在优化过程中具备了更好的逃离局部极小值的能力，在四个基准上的大量实验证明我们的方法取得了最先进的结果。
引用
@article{arxiv.2506.12409,
title = {Branch, or Layer? Zeroth-Order Optimization for Continual Learning of Vision-Language Models},
author = {Ziwei Liu and Borui Kang and Wei Li and Hangjie Yuan and Yanbing Yang and Wenbin Li and Yifan Zhu and Tao Feng and Jun Luo},
journal= {arXiv preprint arXiv:2506.12409},
year = {2026}
}
备注
Published in the Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2026)