概率主成分分析极大似然估计的一致性研究
机器学习
2023-11-15 v2 机器学习
摘要
概率主成分分析（PPCA）是目前用于降低数据 ambient 维数最常用的统计工具之一。从多维尺度分析到缺失数据填补，PPCA 在科学与工程乃至量化金融领域有着广泛应用。尽管在各领域适用性极广，却几乎不存在证明其极大似然（ML）解合理性的理论保证。事实上，众所周知极大似然估计（MLE）只能恢复至旋转意义上的真实模型参数。主要障碍来自 PPCA 模型因参数化旋转对称性而固有的不可辨识性。为消除此歧义，我们提出一种基于商拓扑空间的新方法，特别地，我们证明了极大似然解在适当的商欧氏空间中是一致的。此外，我们的一致性结果涵盖了超越 MLE 的更广义估计量类。在紧性假设下，还建立了 ML 估计的强一致性以及随之而来的 PPCA 模型协方差的强估计。
引用
@article{arxiv.2311.05046,
title = {On the Consistency of Maximum Likelihood Estimation of Probabilistic Principal Component Analysis},
author = {Arghya Datta and Sayak Chakrabarty},
journal= {arXiv preprint arXiv:2311.05046},
year = {2023}
}
备注
15 pages, 1 figure, to appear in NeurIPS 2023. Update: included minor typographical corrections