ScreeNOT：相关噪声中精确MSE最优奇异值阈值化
统计理论
2023-03-28 v3 统计方法学
统计理论
摘要
我们推导了在存在相关加性噪声时对奇异值分解进行最优硬阈值化的公式；尽管其名义上涉及不可观测量，我们展示了即使在噪声协方差结构非先验已知或无法独立估计时如何应用它。所提方法称为ScreeNOT，是1966年Cattell广受欢迎但含糊的Scree Plot启发式方法在数学上严谨的替代方案。ScreeNOT具有令人惊讶的预言性质：它在大型有限样本中通常能对每个给定问题实例精确达到矩阵恢复的最低可能MSE——即其选定的特定阈值在该噪声数据集与未知底层真实低秩模型下，于所有可能阈值选择中给出精确最小可达MSE损失。该方法计算高效且对底层协方差结构的扰动具有鲁棒性。我们的结果依赖于噪声奇异值具有紧支撑极限经验分布的假设；这一随机矩阵论中的标准模型被许多展现行间相关结构或列间相关结构的模型以及许多存在元素间相关结构的情况所满足。仿真证明了该方法在中等矩阵尺寸下的有效性。本文附有实现所提算法的即用软件包：Python版(通过PyPI)与R版(通过CRAN)的ScreeNOT包。
引用
@article{arxiv.2009.12297,
title = {ScreeNOT: Exact MSE-Optimal Singular Value Thresholding in Correlated Noise},
author = {David L. Donoho and Matan Gavish and Elad Romanov},
journal= {arXiv preprint arXiv:2009.12297},
year = {2023}
}