通过随机化、等变性与加速增强数据驱动的镜像下降法
最优化与控制
2024-05-13 v3
摘要
学习优化（L2O）是大规模优化中一个新兴的研究领域，在数据科学中有诸多应用。近来，研究者提出了一种称为学习镜像下降（LMD）的新型 L2O 框架，其基于经典镜像下降（MD）算法，并利用输入凸神经网络参数化的可学习镜像映射。LMD 方法已被证明在继承经典 MD 算法收敛性质的同时，显著加速了凸优化求解器。本工作提出了 LMD 算法的若干实用扩展，以解决其在高维问题中的不稳定性、可扩展性与可行性。我们首先提出 LMD 的加速与随机变体，利用经典的基于动量的加速与随机优化技术来改善收敛速率与每次迭代的计算复杂度。此外，针对训练神经网络这一特定应用，我们推导并提出了一种新颖高效的镜像势参数化方法，利用训练问题的等变结构显著降低了底层问题的维度。我们在标准假设下为所提方案提供了理论收敛保证，并在图像修复、支持向量机与深度神经网络训练等多种计算成像与机器学习应用中展示了其有效性。
引用
@article{arxiv.2308.05045,
title = {Boosting Data-Driven Mirror Descent with Randomization, Equivariance, and Acceleration},
author = {Hong Ye Tan and Subhadip Mukherjee and Junqi Tang and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2308.05045},
year = {2024}
}