合格程序的可证明正确自动次微分
最优化与控制
2019-01-15 v2 机器学习
机器学习
摘要
廉价梯度原理（Griewank 2008）——计算标量值函数梯度的计算代价与仅计算函数本身的代价几乎相同（通常在 的因子内）——在优化中具有核心重要性；它使我们能快速获得标量损失函数的高维梯度，随后用于黑盒基于梯度的优化过程。关于计算次导数，现状则明显不同：广泛使用的机器学习库，包括 TensorFlow 和 PyTorch，即使在简单例子上也不能正确计算（广义）次导数。本工作考虑如下问题：是否存在廉价次梯度原理？我们的主要结果表明，在对非光滑函数库施加某些限制（非线性规划中的标准限制）下，可证明正确的广义次导数能以计算代价不超过计算标量函数本身代价的（与维度无关的） 倍因子来计算。
引用
@article{arxiv.1809.08530,
title = {Provably Correct Automatic Subdifferentiation for Qualified Programs},
author = {Sham Kakade and Jason D. Lee},
journal= {arXiv preprint arXiv:1809.08530},
year = {2019}
}