KerZOO：基于核函数的零阶优化用于精准且加速的大语言模型微调
机器学习
2025-05-27 v1
摘要
大型语言模型（LLM）在诸多自然语言处理任务中展现出惊人的能力。然而，传统的一阶微调技术对内存需求极大，成为实际应用的障碍。零阶（ZO）优化最近作为一种无需反向传播，仅通过正向传播估计梯度的高效方法，成为资源受限环境下的有前景的替代方案。尽管其效率较高，但ZO优化受到梯度估计偏差的影响，显著阻碍收敛速度。为此，我们对ZO基于梯度估计过程中引入的低阶偏差进行分析并进行特征化。灵感来自数学物理中的工具，我们引入一种基于核函数的零阶优化框架，以缓解此偏差并提高优化稳定性。KerZOO在大语言模型的全参数和参数高效微调设置下，实现与现有ZO基线相当或更好的性能，同时显著减少收敛所需的迭代次数。例如，在微调OPT-2.7B模型时，KerZOO在WSC和MultiRC数据集上分别将总GPU训练小时数降低最高可达74%和44%，在准确率上还能超越MeZO基线2.9%和2.6%。我们表明，核函数是减少ZO方法估计偏差的有效途径。
引用
@article{arxiv.2505.18886,
title = {KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning},
author = {Zhendong Mi and Qitao Tan and Xiaodong Yu and Zining Zhu and Geng Yuan and Shaoyi Huang},
journal= {arXiv preprint arXiv:2505.18886},
year = {2025}
}
备注
9 pages, 6 figures, Neurips