关于二次最小化的放松梯度下降方法族

本文研究了一族针对二次优化问题的放松$\ell$最小梯度下降方法的收敛性；该族包括眼前流行的陡降法方法以及最小梯度法。提供了简单证明，表明在合适选择的范数下，梯度及其迭代点距离最优点的距离均以线性速率收敛，该族的所有成员。此外，函数值以线性方式减小，并给出迭代复杂度结果。所有理论结果都适用于固定的放松。还证明了在给定固定的开销和存储预算的情况下，该族中的每个放松$\ell$最小梯度下降方法都可以仅用一个矩阵向量乘法实现。 presented了数值实验，说明了放松在该族中的优势。