潜在狄利克雷分配与随机矩阵分解的渐近贝叶斯泛化误差
统计理论
2020-02-21 v8 机器学习
机器学习
统计理论
摘要
潜在狄利克雷分配（LDA）在文档分析、图像处理和许多信息系统中很有用；然而，其泛化性能一直未知，因为它是一种奇异学习机，无法应用常规统计理论。随机矩阵分解（SMF）是一种受限矩阵分解，其中矩阵因子是随机的；矩阵的列位于单形中。SMF正被应用于图像识别和文本挖掘。我们可以将SMF理解为一个统计模型，给定数据的随机矩阵由两个不同的随机矩阵的乘积表示，其泛化性能也因非正则性而未知。本文利用代数与几何方法，证明了LDA与SMF的分析等价性，二者具有相同的实对数典型阈值（RLCT），从而渐近地具有相同的贝叶斯泛化误差和相同的对数边际似然。此外，我们推导了RLCT的上界，并证明它小于参数维数的一半，因此它们的贝叶斯泛化误差小于正则统计模型。
引用
@article{arxiv.1709.04212,
title = {Asymptotic Bayesian Generalization Error in Latent Dirichlet Allocation and Stochastic Matrix Factorization},
author = {Naoki Hayashi and Sumio Watanabe},
journal= {arXiv preprint arXiv:1709.04212},
year = {2020}
}
备注
Containing 36 pages, 2 figures, and 1 table. To appear in SN Computer Science