理解展开的诅咒
机器学习
2026-02-24 v1 最优化与控制
摘要
展开算法在机器学习中无处不在，尤其是在超参数优化和元学习中，通过对迭代算法求解映射的雅可比矩阵来计算。尽管展开算法在恰当条件下可产生渐进上正确的雅可比矩阵，但近期研究表明，导数迭代序列可能最初偏离真实雅可比矩阵，这被称为展开的诅咒。本文提供一种非渐进分析，解释了这一行为的来源，并识别了主导其中的算法因素。我们表明，提前截断导数计算的迭代可缓解诅咒，同时降低内存需求。最后，我们展示了在双层优化中热启动自然地诱导出一种隐式的截断形式，为实际应用提供了可行的补救措施。我们的理论发现得到代表性案例的数值实验的支持。
引用
@article{arxiv.2602.19733,
title = {Understanding the Curse of Unrolling},
author = {Sheheryar Mehmood and Florian Knoll and Peter Ochs},
journal= {arXiv preprint arXiv:2602.19733},
year = {2026}
}