非光滑非凸优化的一种几何积分方法
最优化与控制
2018-07-20 v1
摘要
在无法获取梯度的情况下优化非光滑、非凸函数是一个尤其具有挑战性的问题，例如在模型参数优化问题中经常遇到。参数的双层优化是变分正则化问题和监督式机器学习等领域中的标准设定。我们提出了称为随机 Itoh--Abe 方法的高效且鲁棒的免导数方法。这些是 Itoh--Abe 离散梯度方法（几何积分中一种著名的格式，此前仅在光滑情形下被考虑）的推广。我们证明了该方法及其良好的能量耗散性质在非光滑情形下是良定义的。此外，我们证明只要目标函数局部 Lipschitz 连续，迭代几乎必然收敛到 Clarke 驻点连通集。我们给出了这些方法的实现，并将其应用于多个测试问题。数值结果表明，随机 Itoh--Abe 方法在求解非光滑问题时优于最先进的免导数优化方法，同时在效率方面仍具竞争力。
引用
@article{arxiv.1807.07554,
title = {A geometric integration approach to nonsmooth, nonconvex optimisation},
author = {Erlend S. Riis and Matthias J. Ehrhardt and G. R. W. Quispel and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:1807.07554},
year = {2018}
}
备注
33 pages, 11 figures, submitted