何时对推断最 информативные 的分量也是主成分?
统计理论
2013-02-07 v1 数据结构与算法
信息论
机器学习
math.IT
概率论
统计理论
摘要
信号加噪声数据矩阵的奇异值分解中,哪些分量对于检测或估计嵌入的低秩信号矩阵这一推断任务最具信息量?主成分分析赋予捕获最大变化的分量以更高的重要性,即与最大奇异值相关的奇异向量。这一选择通常通过引用 Eckart-Young 定理来证明其合理性,尽管该工作解决的是如何使用低秩近似最佳表示信号加噪声矩阵,而非如何最佳推断底层低秩信号分量。在此,我们采取第一性原理方法,从信号加噪声数据矩阵出发,展示噪声-only 分量的谱如何决定数据矩阵奇异值分解的主成分或中间成分将成为对推断具有信息量的分量。简而言之,如果噪声谱在某种意义上(我们将对此进行精确界定)支撑于一个连通区间,则使用主成分是合理的。当噪声谱支撑于多个区间时,中间成分可能比主成分更具信息量。最终结果是对在主成分矩阵为独立同分布高斯噪声的情形下使用主成分的正当性证明,并识别出通常涉及异构噪声模型(如高斯混合)的场景,在这些场景中中间成分可能比主成分更具信息量,从而可利用它们提取额外的处理增益。我们的结果表明,由于相变将主成分具有信息量的机制与主成分无信息量的机制分隔开来,盲目使用主成分可能导致次优甚至错误的推断。
引用
@article{arxiv.1302.1232,
title = {When are the most informative components for inference also the principal components?},
author = {Raj Rao Nadakuditi},
journal= {arXiv preprint arXiv:1302.1232},
year = {2013}
}
备注
Submitted to IEEE Transactions on Information Theory