Kronecker 图 Lasso 算法的收敛性质

本文研究了在稀疏 Kronecker 乘积协方差模型下，用于估计独立同分布 Gaussian 随机样本协方差的 Kronecker graphical lasso (KGLasso) 算法的迭代收敛性及 MSE 收敛速率。KGLasso 模型最初由 Allen 称为可转置正则化协方差模型 ["Transposable regularized covariance models with an application to missing data imputation," Ann. Appl. Statist., vol. 4, no. 2, pp. 764-790, 2010]，它对每个 Kronecker 因子实施一对 $\ell_1$ 惩罚，以在协方差估计量中强制稀疏性。KGLasso 算法推广了由 Yuan 和 Lin ["Model selection and estimation in the Gaussian graphical model," Biometrika, vol. 94, pp. 19-35, 2007] 以及 Banerjee ["Model selection through sparse maximum likelihood estimation for multivariate Gaussian or binary data," J. Mach. Learn. Res., vol. 9, pp. 485-516, Mar. 2008] 提出的 Glasso，用于估计具有 Kronecker 乘积形式的协方差。它还推广了 Dutilleul ["The MLE algorithm for the matrix normal distribution," J. Statist. Comput. Simul., vol. 64, pp. 105-123, 1999] 和 Werner ["On estimation of covariance matrices with Kronecker product structure," IEEE Trans. Signal Process., vol. 56, no. 2, pp. 478-491, Feb. 2008] 的无惩罚 ML flip-flop (FF) 算法，用于估计稀疏 Kronecker 因子。我们证明了 KGLasso 迭代逐点收敛到惩罚似然函数的局部最大值。我们推导了当样本数和变量数均趋于无穷大时，向真实协方差的高维收敛速率。我们的结果证明了 KGLasso 的渐近收敛速度显著快于 Glasso 和 FF。我们给出了验证分析结果的模拟实验。