约束优化中近端距离方法的扩展

本文研究在约束 $\boldsymbol{D}\boldsymbol{x} \in S$ 下最小化损失 $f(\boldsymbol{x})$ 的问题，其中 $S$ 为闭集（凸或非凸），$\boldsymbol{D}$ 为融合参数的矩阵。融合约束可刻画平滑性、稀疏性或更一般的约束模式。为处理此类通用问题，我们将 Beltrami-Courant 罚函数法与近端距离原理相结合。后者通过最小化含大调节常数 $\rho$ 及 $\boldsymbol{D}\boldsymbol{x}$ 到 $S$ 的平方欧氏距离的罚目标 $f(\boldsymbol{x})+\frac{\rho}{2}\text{dist}(\boldsymbol{D}\boldsymbol{x},S)^2$ 来驱动。相应近端距离算法的下一迭代 $\boldsymbol{x}_{n+1}$ 由当前迭代 $\boldsymbol{x}_n$ 通过最小化majorization替代函数 $f(\boldsymbol{x})+\frac{\rho}{2}\|\boldsymbol{D}\boldsymbol{x}-\mathcal{P}_{S}(\boldsymbol{D}\boldsymbol{x}_n)\|^2$ 构造。对于固定 $\rho$ 及次解析损失 $f(\boldsymbol{x})$ 与次解析约束集 $S$ ，我们证明收敛至驻点。在更强假设下，我们给出收敛速率并证明线性局部收敛。我们还构造了最速下降（SD）变体以避免昂贵的线性系统求解。为基准测试我们的算法，我们与交替方向乘子法（ADMM）比较。我们广泛的数值测试包括度量投影、凸回归、凸聚类、全变分图像去噪以及矩阵投影至良好条件数等问题。这些实验证明了我们的 steepest 变体在高维问题上的优越速度与可接受精度。