中文

迈向稀疏、可扩展且稳定正定的(逆)协方差估计量

统计方法学 2016-06-28 v3

摘要

高维协方差估计和图模型是统计学和机器学习中的一个当代课题,具有广泛的应用。在此方面的一个重要研究方向是收缩协方差矩阵估计量的极端谱。文献中的另一条独立研究路线考虑了稀疏逆协方差估计,这进而产生了图模型。然而,在实践中,人们希望得到一个同时具有良好条件数且在计算上易于处理的稀疏协方差或逆协方差矩阵。关于这三个主题交汇处的研究很少。在本文中,我们考虑将条件数约束施加于协方差和逆协方差矩阵估计中使用的各种类型的损失函数。当损失函数可以分解为估计量的正交不变函数与其和样本协方差矩阵函数的内积之和时,我们表明可以推导出一个解路径算法,该算法涉及一系列常微分方程。该路径算法具有吸引力,因为它以与具有固定上界的单个估计量相同的计算成本,提供了所有可能条件数界值下的整个估计量族。一个重要的发现是,针对条件数约束的近端算子(事实证明它在正则化非正交不变且可能产生非正定估计的损失函数时非常有用)可以通过该路径算法高效计算。作为其实际重要性的具体说明,我们开发了一种算子分裂算法,该算法为最近提出的基于凸伪似然的图模型选择方法施加了良好条件数和正定性的保证。

关键词

引用

@article{arxiv.1502.00471,
  title  = {Towards a sparse, scalable, and stably positive definite (inverse) covariance estimator},
  author = {Sang-Yun Oh and Bala Rajaratnam and Joong-Ho Won},
  journal= {arXiv preprint arXiv:1502.00471},
  year   = {2016}
}

备注

19 pages; 1 figure