TeZO：在零阶优化中赋予时间维度低秩性
机器学习
2025-02-03 v1
摘要
零阶优化(ZO)在大型语言模型(LLM)的高效微调任务中显示出巨大的潜力。具体而言，近期的进展融合了梯度的低秩性，引入低秩 ZO 估计器以进一步减少 GPU 内存消耗。然而，大多数现有工作仅关注单个梯度的低秩性，忽略了所有梯度在训练期间共享的更广泛属性，即所有梯度大致驻留在相似的子空间中。本文我们同时考虑这两个因素，提出一种新型低秩 ZO 估计器TeZO，捕获模型和时间维度之间的低秩性。具体而言，我们将时间维度上的 ZO 扰动表示为 3D 张量，并采用标准多项式分解(CPD)提取每个低秩 2D 矩阵，从而显著降低训练成本。TeZO 也可轻松扩展到 Adam 变体，比 MeZO-SGD 消耗更少内存，仅需约 35% 的 MeZO-Adam 内存。我们的全面理论分析和广泛实验研究均验证了其效率，实现了与 SOTA 相当的效果，同时在时间和内存方面的开销更低。
引用
@article{arxiv.2501.19057,
title = {TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs},
author = {Yan Sun and Tiansheng Huang and Liang Ding and Li Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2501.19057},
year = {2025}
}