多目标收缩
统计方法学
2014-12-08 v1 机器学习
摘要
Stein 证明了，通过向常量目标向量“收缩”，多元样本均值的表现能得到提升。Lediot 和 Wolf 将此方法推广至样本协方差矩阵，并提出以单位矩阵的倍数作为收缩目标。在不依赖于特定估计量的一般框架下，我们通过允许同时向一组目标进行收缩来扩展收缩概念。应用场景包括：(A) 来自潜在相似分布的额外数据集，(B) 非平稳性，(C) 数据的自然分组，或 (D) 可作为目标的多个备选估计量。我们证明，这种 Multi-Target Shrinkage 可转化为二次规划，并推导了在极限下使收缩强度估计产生最优期望平方误差的条件。针对样本均值和样本协方差这两个具体实例，我们推导了 MTS 最优性适用的条件。我们考虑了两种渐近设定：大维极限（LDL），即维度与观测数以相同速率趋于无穷；以及有限观测大维极限（FOLDL），即仅维度趋于无穷而观测数保持恒定。随后，我们在大量模拟和真实数据上展示了其有效性。
引用
@article{arxiv.1412.2041,
title = {Multi-Target Shrinkage},
author = {Daniel Bartz and Johannes Höhne and Klaus-Robert Müller},
journal= {arXiv preprint arXiv:1412.2041},
year = {2014}
}