光滑流形上的块坐标下降：收敛理论及二十一个示例
最优化与控制
2023-10-13 v3
摘要
块坐标下降是一种优化范式，它每次迭代更新一个变量块，因其可扩展性和性能而非常适用于大数据应用。其收敛行为在（分块）凸情形下已被广泛研究，但在非凸情形下探索甚少。本文分析了非凸集上块坐标方法的收敛性，并在比先前工作更自然或更弱的假设下推导了光滑流形上的收敛速率。我们的分析适用于许多非凸问题，包括寻求低维结构的问题（如最大编码率约简、神经崩塌、对抗攻击逆向工程、广义 PCA、交替投影）；寻求组合结构的问题（同态感知、无对应回归、实相位恢复、鲁棒点匹配）；从视觉数据寻求几何结构的问题（如本质矩阵估计、绝对位姿估计）；以及在大量离群点中稀疏隐藏内点的问题（如通过迭代重加权最小二乘的离群鲁棒估计）。虽然我们的收敛理论适用于所有这些并产生新的推论，它也适用于其他可能更熟悉的问题（如最优传输、矩阵分解、Burer-Monteiro 分解），恢复了先前已知的结果。
引用
@article{arxiv.2305.14744,
title = {Block Coordinate Descent on Smooth Manifolds: Convergence Theory and Twenty-One Examples},
author = {Liangzu Peng and René Vidal},
journal= {arXiv preprint arXiv:2305.14744},
year = {2023}
}