SharpZO：基于仅前向传播的混合锐度感知视觉语言模型提示微调
机器学习
2025-10-27 v2 计算与语言
计算机视觉与模式识别
摘要
微调视觉语言模型（VLM）在各种下游任务中取得了显著的性能；然而，它需要通过反向传播（BP）访问模型梯度，使其不适用于内存受限且仅推理的边缘设备。为了解决这一局限性，先前的工作探索了各种无BP微调方法。但是，这些方法通常依赖于高方差的进化策略（ES）或零阶（ZO）优化，并且往往无法达到令人满意的性能。在本文中，我们提出了一种混合锐度感知零阶优化方法，专门设计用于通过锐度感知预热训练来增强ZO VLM微调的性能。SharpZO具有两阶段优化过程：一个锐度感知ES阶段，全局探索并平滑损失景观以构建强大的初始化；随后通过稀疏ZO优化进行细粒度的局部搜索。整个优化仅依赖前向传播。详细的理论分析和在CLIP模型上的大量实验表明，SharpZO显著提高了准确性和收敛速度，与最先进的仅前向方法相比实现了高达7%的平均增益。
引用
@article{arxiv.2506.20990,
title = {SharpZO: Hybrid Sharpness-Aware Vision Language Model Prompt Tuning via Forward-Only Passes},
author = {Yifan Yang and Zhen Zhang and Rupak Vignesh Swaminathan and Jing Liu and Nathan Susanj and Zheng Zhang},
journal= {arXiv preprint arXiv:2506.20990},
year = {2025}
}