Hi-ZFO：基于重要性引导的层次化零阶与一阶 LLM 精调

使用标准的一阶（FO）优化进行大型语言模型（LLM）精调常常会导致训练向严格、泛化性差的极小点迁移。相比之下，零阶（ZO）方法在不依赖显式梯度的情况下提供更强的探索行为，但 suffers于收敛速度慢。更关键的是，我们的分析揭示，在生成任务中，巨大的输出和搜索空间显著放大估计方差，使 ZO 方法既嘈杂又低效。为此，我们提出 Hi-ZFO（Hierarchical Zeroth- and First-Order optimization），一种混合框架，旨在协同一阶梯度的精确性与 ZO 估计的探索能力。Hi-ZFO 通过层级重要性轮廓，对模型进行自适应分区，对关键层应用精确的 FO 更新，同时对不那么敏感的层利用 ZO 优化。值得注意的是，Hi-ZFO 中的 ZO 不仅仅是内存节省的替代品；它被有意引入作为“有益随机性”源，帮助模型摆脱纯 FO 优化容易停滞的局部极小点。我们在多样化的生成、数学和代码推理任务上验证了 Hi-ZFO，始终实现卓越的性能，同时显著缩短训练时间。这些结果表明，层次化混合优化对于 LLM 精调具有有效性。