CurvZO：面向高效大语言模型微调的自适应曲率引导稀疏零阶优化
人工智能
2026-03-24 v1 机器学习
摘要
使用反向传播微调大语言模型 (LLM) 能实现高性能，但会产生大量的内存开销，限制了其在资源受限硬件上的可扩展性。零阶 (ZO) 优化通过仅依赖前向传播提供了一种内存高效的替代方案，但由于梯度估计的高方差，它通常收敛缓慢或不稳定。稀疏 ZO 更新通过仅扰动参数的一个子集部分地解决了这个问题，但其有效性取决于选择信息量大的参数，这在 ZO 优化中具有挑战性，因为每次查询只返回标量反馈。我们提出了**自适应曲率引导的稀疏零阶优化 (CurvZO)**，它从标量 ZO 反馈中在线追踪曲率信号，并利用这些信号构建一个参数级采样分布，用于在每次更新时选择坐标，从而降低稀疏 ZO 梯度估计器的方差。此外，CurvZO 动态地将扰动预算适应于不断变化的曲率信号分布，产生既集中又具有足够探索性的稀疏 ZO 更新。在 OPT 和 Llama 模型上跨多种 NLP 任务的大量实验表明，CurvZO 相较于 ZO 基线方法，持续提升了微调性能并减少了训练时间。它将准确率提高了多达 4.4 个百分点，并实现了高达 的加速，同时保持了内存效率。
引用
@article{arxiv.2603.21725,
title = {CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning},
author = {Shuo Wang and Ziyu Chen and Ming Tang},
journal= {arXiv preprint arXiv:2603.21725},
year = {2026}
}