不动点问题的循环坐标更新算法:分析与应用
最优化与控制
2017-03-06 v2 统计计算
摘要
许多问题可归结为求解的不动点问题。针对该问题,我们采用坐标更新算法,其在每一步仅更新的一个或少数几个分量。当每次更新代价较低时,这些算法快于更新所有分量的完整不动点迭代。本文关注基于循环选择规则的坐标更新算法,其中每个循环中坐标的顺序是任意的。这些算法速度快,但其在不动点情形下的收敛性未知。当为非扩张算子且存在不动点时,我们证明了在适当步长下坐标更新迭代序列收敛到不动点。该结果适用于原始-对偶坐标更新算法,后者可应用于具有不可分离非光滑目标以及全局线性约束的优化问题。数值上,我们将具有循环、洗牌循环和随机选择规则的坐标更新算法应用于鲁棒最小二乘、CT图像重建问题以及非负矩阵分解。它们比标准不动点迭代收敛快得多。在这三种规则中,循环与洗牌循环规则总体上快于随机规则。
引用
@article{arxiv.1611.02456,
title = {Cyclic Coordinate Update Algorithms for Fixed-Point Problems: Analysis and Applications},
author = {Yat Tin Chow and Tianyu Wu and Wotao Yin},
journal= {arXiv preprint arXiv:1611.02456},
year = {2017}
}
备注
Minor revisions throughout the paper for clarification