坐标投影梯度下降最小化及其在正交非负矩阵分解中的应用

本文考虑大规模复合型非凸优化问题，其目标函数由三部分组成：第一部分具有块坐标可 Lipschitz 连续梯度，第二部分可二次可微但非可分离，第三部分为可分离闭凸集的指示函数。在上述一般设置下，我们推导并分析了一种新的循环坐标下降方法，该方法使用可微分目标函数部分的梯度，实现坐标梯度下降方案，并引入一种新型自适应步长规则。我们证明，只要满足关于目标函数第二部分的额外假设，该步长规则使坐标梯度法成为一种下降方法。我们还给出该方法在非凸情形下的最坏情况复杂度分析。数值实验表明，该方法在正交非负矩阵分解问题上效率令人满意。