Proximal Adam：用于约束优化的鲁棒自适应更新方案
最优化与控制
2020-07-06 v2 天体物理仪器与方法
图像与视频处理
摘要
我们在近端梯度法（PGM）的一种新变体中实现了来自优化方法 AdaGrad 和 Adam 的自适应步长方案。我们称之为 AdaProx 的算法避免了对 Lipschitz 常数的显式计算或额外的线搜索，从而降低了每次迭代的成本。在约束矩阵分解的测试用例中，我们展示了 AdaProx 在保真度和性能上相对于 PGM 的优势，同时仍允许任意惩罚函数。本文所呈现算法的 python 实现作为开源包发布于 https://github.com/pmelchior/proxmin。
引用
@article{arxiv.1910.10094,
title = {Proximal Adam: Robust Adaptive Update Scheme for Constrained Optimization},
author = {Peter Melchior and Rémy Joseph and Fred Moolekamp},
journal= {arXiv preprint arXiv:1910.10094},
year = {2020}
}
备注
7 pages, 5 figures