基于 Hessian 的凸性证明证书
最优化与控制
2022-10-20 v1 机器学习
符号计算
摘要
可微凸函数的 Hessian 是半正定的。因此，检验给定函数的 Hessian 是证明凸性的一种自然方法。然而，实现该方法并不简单，因为它需要一种允许分析的 Hessian 表示。此处，我们针对一类足够丰富以支撑经典机器学习的函数实现了该方法。对于该类函数，近期已展示如何计算其 Hessian 的计算图。我们展示如何检验这些图的半正定性。我们将 Hessian 方法的实现与成熟的规范凸规划（DCP）方法进行比较，并证明对于可微函数，Hessian 方法至少与 DCP 方法同样有效。此外，我们针对 DCP 方法的一个 SOTA 实现表明，对于可微函数，Hessian 方法实际上更强。即，它能证明更大一类可微函数的凸性。
引用
@article{arxiv.2210.10430,
title = {Convexity Certificates from Hessians},
author = {Julien Klaus and Niklas Merk and Konstantin Wiedom and Sören Laue and Joachim Giesen},
journal= {arXiv preprint arXiv:2210.10430},
year = {2022}
}
备注
Accepted for publication at NeurIPS 2022