一种用于非凸非光滑优化的带自适应动量的加速块邻近框架
最优化与控制
2023-08-25 v2 机器学习
摘要
我们提出了一种用于非凸非光滑优化的带自适应动量的加速块邻近线性框架（ABPL）。我们分析了某些算法中外推步失效的潜在原因，并通过增强比较过程来解决该问题，该过程评估我们算法中邻近梯度步与线性外推步之间的权衡。此外，我们将算法扩展至涉及以正整数更新块变量的任意场景，允许每个周期随机打乱变量块的更新顺序。另外，在温和假设下，我们证明 ABPL 能够单调降低函数值而无需严格限制外推参数与步长，展示了以随机顺序更新这些块的可行性与有效性，并且我们更明显直观地证明了由算法生成的序列的导数集是一个临界点集。而且，我们利用 Kurdyka-Lojasiewicz（K{\L}）条件证明了算法的全局收敛性以及线性和次线性收敛速率。为提升算法的有效性与灵活性，我们还将研究扩展至算法的不精确版本，并构造了自适应外推参数策略，从而改善其整体性能。我们将算法应用于带 范数的多重非负矩阵分解、带 范数的非负张量分解，并进行了大量数值实验以验证其有效性与高效性。
引用
@article{arxiv.2308.12126,
title = {An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization},
author = {Weifeng Yang and Wenwen Min},
journal= {arXiv preprint arXiv:2308.12126},
year = {2023}
}