展开之咒：通过优化求导的收敛速率
最优化与控制
2023-08-28 v3 机器学习
摘要
计算优化问题解的雅可比矩阵是机器学习中的一个核心问题，其应用包括超参数优化、元学习、将优化作为一层以及数据集蒸馏等。展开求导（Unrolled differentiation）是一种流行的启发式方法，它使用迭代求解器近似解并沿计算路径对其求导。本工作针对二次目标函数，对梯度下降与切比雪夫方法下的该途径提供了非渐近收敛速率分析。我们表明，为确保雅可比矩阵收敛，我们可要么 1) 选择大学习率以带来快速渐近收敛，但接受算法可能具有任意长的预热阶段，要么 2) 选择较小学习率以带来即时但较慢的收敛。我们将此现象称为展开之咒。最后，我们讨论了与该途径相关的开放问题，例如推导最优展开策略的实用更新规则，以及与 Sobolev 正交多项式领域建立新的联系。
引用
@article{arxiv.2209.13271,
title = {The Curse of Unrolling: Rate of Differentiating Through Optimization},
author = {Damien Scieur and Quentin Bertrand and Gauthier Gidel and Fabian Pedregosa},
journal= {arXiv preprint arXiv:2209.13271},
year = {2023}
}