基于输入凸神经网络的数据驱动镜像下降法
最优化与控制
2023-02-27 v4
摘要
学习优化是一种新兴框架，旨在通过利用训练数据来加速某些优化问题的求解。已有研究表明，在收敛速度方面，尤其是针对凸问题，习得优化求解器优于经典优化算法。许多现有数据驱动优化方法基于对更新步长进行参数化，并从可用数据中学习最优参数（通常为标量）。我们提出一种基于经典镜像下降（MD）算法的习得凸优化求解器的新型函数参数化方法。具体而言，我们通过使用输入凸神经网络（ICNN）对底层凸函数建模，来学习MD中的最优Bregman距离。ICNN的参数通过最小化在预定迭代次数后MD迭代点处评估的目标目标函数来求解。由于精确逆映射难以计算，我们使用另一个神经网络对镜像映射的逆进行近似建模。我们推导了所提带近似逆镜像映射的习得镜像下降（LMD）方法的收敛速率界，并在图像修复、去噪、学习两类支持向量机（SVM）分类器及固定特征上的多类线性分类器等多种凸问题上进行了广泛数值评估。
引用
@article{arxiv.2206.06733,
title = {Data-Driven Mirror Descent with Input-Convex Neural Networks},
author = {Hong Ye Tan and Subhadip Mukherjee and Junqi Tang and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2206.06733},
year = {2023}
}