高维局部相关数据的广义成员等级估计
统计方法学
2024-12-30 v1 统计理论
机器学习
统计理论
摘要
本文聚焦于用于分析调查响应和人口遗传数据的多变量分类数据的混合成员模型。这种成员等级（GoM）模型具有强大的建模能力，但在高维多项数据上的估计存在显著挑战。流行的现有方法（如贝叶斯 MCMC 推断）在高维设置下不可扩展且缺乏理论保证。为此，我们首先观察到该模型的数据可重构为三维（准）张量，其中许多受试者对许多项目的响应数目各不相同。我们引入一种新颖且简单的方法，将三维准张量展平为“宽”矩阵，然后对其进行奇异值分解以利用奇异子空间几何进行参数估计。我们的快速谱方法可适用于广泛的数据分布，以任意局部相关噪声为特征，我们将其形式化为广义-GoM 模型。我们为广义-GoM 模型参数建立了有限样本条目级误差界。支持我们新颖的锐利两到无穷奇异子空间扰动理论，用于局部相关和灵活分布的噪声，这是独立兴趣的贡献。通过政治调查、人口遗传和单细胞测序数据中的实验，证明了我们方法的优异性能。
引用
@article{arxiv.2412.19796,
title = {Generalized Grade-of-Membership Estimation for High-dimensional Locally Dependent Data},
author = {Ling Chen and Chengzhu Huang and Yuqi Gu},
journal= {arXiv preprint arXiv:2412.19796},
year = {2024}
}