具有冗余的潜变量贝叶斯估计的渐近精度

由可观测变量和潜变量组成的分层参数模型被广泛用于无监督学习任务。例如，混合模型是用于聚类的代表性分层模型。从统计学的观点来看，根据数据的分布，这些模型可以是正则的或奇异的。在正则情形下，模型具有可识别性；用于模型表达的概率密度函数与参数之间存在一一对应关系。Fisher信息矩阵是正定的，且可观测变量和潜变量的估计精度均已被研究。另一方面，在奇异情形下，模型不可识别且Fisher矩阵不是正定的。基于Fisher矩阵逆矩阵的传统统计分析不再适用。最近，代数几何分析得到了发展并被用于阐明可观测变量的贝叶斯估计。本文将此分析应用于潜变量估计并确定其理论性能。我们的结果阐明了后验分布的收敛行为。研究发现，可观测变量估计的后验分布可能与潜变量估计的后验分布不同。由于这种差异，基于参数和潜变量的马尔可夫链蒙特卡洛方法无法构造所需的后验分布。