面向多类的耦合正则化样本协方差矩阵估计器
统计方法学
2021-11-10 v2 机器学习
机器学习
摘要
在训练数据有限的情况下估计多类的协方差矩阵是一个困难的问题。已知当变量数量相对于可用样本数量较大时,样本协方差矩阵(SCM)的表现很差。为了降低 SCM 的均方误差(MSE),经常使用正则化(收缩)SCM 估计器。在这项工作中,我们考虑用于多类问题的正则化 SCM(RSCM)估计器,其将两种不同的目标矩阵耦合在一起进行正则化:各类的合并(平均)SCM 和缩放单位矩阵。当总体协方差相似时,向合并 SCM 正则化是有益的,而向单位矩阵正则化则保证估计器是正定的。我们推导了估计器的 MSE 最优调谐参数,并在类总体服从具有有限四阶矩的(未指定)椭圆分布这一假设下提出了一种估计它们的方法。所提出的耦合 RSCM 的 MSE 性能通过仿真以及在真实数据上的正则化判别分析(RDA)分类设置进行了评估。基于三个不同真实数据集的结果表明,其性能与交叉验证相当,但计算时间显著加快。
引用
@article{arxiv.2011.04315,
title = {Coupled regularized sample covariance matrix estimator for multiple classes},
author = {Elias Raninen and Esa Ollila},
journal= {arXiv preprint arXiv:2011.04315},
year = {2021}
}