关于主题模型变分推断的一些可证明正确的情形

变分推断是一种在潜变量模型背景下以各种形式使用的非常高效且流行的启发式方法。它与期望最大化（EM）密切相关，并在精确 EM 计算不可行时应用。尽管极其流行，但目前对基于变分推断的算法有效性的理论理解非常有限。在这项工作中，我们首次分析了变分推断算法收敛到全局最优的实例，场景设定为主题模型。更具体地说，我们证明了在对主题 - 词矩阵和主题先验的自然假设下，变分推断可证明地学习主题模型的最优参数。在我们的设定中，主题 - 词矩阵必须满足的性质与 (Anandkumar et al., 2013) 中引入的主题扩展假设以及 (Arora et al., 2012c) 中的锚词假设相关。关于主题先验的假设与著名的 Dirichlet 先验相关，该先验由 (Blei et al., 2003) 引入主题建模领域。众所周知，初始化在变分基于算法的实际表现中起着至关重要的作用。我们使用的初始化相当自然。其中一个类似于当前在 LDA-c 中使用的初始化，LDA-c 是主题模型变分推断最流行的实现。另一个是重叠聚类算法，灵感来自 (Arora et al., 2014) 关于字典学习的工作，非常简单且高效。虽然我们的主要目标是深入了解变分推断何时可能在实践中起作用，但变分推断更新的乘法性质（而非加法性质）迫使我们使用相当非标准的证明论证，我们相信这将具有普遍意义。