超越价值函数:平坦条件下的单循环双层优化
最优化与控制
2025-07-29 v1
摘要
双层优化作为一种分层优化范式,在广泛的实际应用中获得了显著关注,尤其是在生成模型的微调中。然而,由于嵌套的问题结构,大多数现有算法需要Hessian向量计算或嵌套循环更新,这在大语言模型(LLM)微调中计算效率低下。在本文中,基于完全一阶的罚函数方法,我们提出了一种高效的无价值函数(PBGD-Free)算法,该算法消除了求解下层问题的循环,并允许完全单循环更新。受基于表示学习的LLM微调问题的景观分析启发,我们提出了上层函数的松弛平坦条件,并证明了所提出的无价值函数算法的收敛性。我们在各种应用中测试了所提出算法的性能,并展示了其相对于最先进的双层方法在计算效率上的优越性。
引用
@article{arxiv.2507.20400,
title = {Beyond Value Functions: Single-Loop Bilevel Optimization under Flatness Conditions},
author = {Liuyuan Jiang and Quan Xiao and Lisha Chen and Tianyi Chen},
journal= {arXiv preprint arXiv:2507.20400},
year = {2025}
}