非光滑优化中块逐次极小化方法的统一收敛性分析
最优化与控制
2012-09-12 v1
摘要
块坐标下降 (BCD) 方法广泛用于最小化多个块变量的连续函数 。在该方法的每次迭代中，仅优化单个变量块，而其余变量保持不变。为确保 BCD 方法的收敛性，每次迭代中需要优化的子问题必须精确求解至其唯一最优解。不幸的是，这些要求对于许多实际场景而言往往过于严格。在本文中，我们研究了一种替代的非精确 BCD 方法，该方法通过逐次最小化 的一系列近似值来更新变量块，这些近似值要么是 的局部紧致上界，要么是 的严格凸局部近似。我们着重刻画了相当广泛的一类此类方法的收敛性质，特别是针对目标函数不可微或非凸的情况。我们的结果统一并扩展了许多经典算法的现有收敛结果，如 BCD 方法、差凸 (DC) 方法、期望最大化 (EM) 算法以及交替近端极小化算法。
引用
@article{arxiv.1209.2385,
title = {A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization},
author = {Meisam Razaviyayn and Mingyi Hong and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:1209.2385},
year = {2012}
}