近端正则化块坐标下降的复杂度及其在Wasserstein CP-字典学习中的应用
机器学习
2023-06-06 v1 人工智能
数值分析
数值分析
最优化与控制
摘要
我们考虑带近端正则化（BCD-PR）的Gauss-Seidel型块坐标下降方法，这是一种在约束下最小化一般非凸目标的经典方法，具有广泛的实际应用。我们从理论上建立了该算法的最坏情况复杂度界。即，我们证明对于一般带块级约束的非凸光滑目标，经典BCD-PR算法在O(1/epsilon)次迭代内收敛到epsilon-平稳点。在温和条件下，即使算法每步不精确执行，该结果仍成立。作为一个应用，我们提出了一种可证明且高效的“Wasserstein CP-字典学习”算法，其寻求一组可良好近似给定d维联合概率分布集合的基本概率分布。我们的算法是在对偶空间中运行的BCD-PR版本，其中原问题同时受到熵正则与近端正则。
引用
@article{arxiv.2306.02420,
title = {Complexity of Block Coordinate Descent with Proximal Regularization and Applications to Wasserstein CP-dictionary Learning},
author = {Dohyun Kwon and Hanbaek Lyu},
journal= {arXiv preprint arXiv:2306.02420},
year = {2023}
}
备注
Proceedings of the 40th International Conference on Machine Learning