无限关系模型的坍缩变分贝叶斯推断
机器学习
2014-09-18 v1 机器学习
摘要
无限关系模型（IRM）是一种用于关系数据聚类的概率模型，它根据观测到的关系将对象划分为簇。本文提出了 IRM 的平均坍缩变分贝叶斯（ACVB）解法，这是一种保证收敛且具有实用价值的快速坍缩变分贝叶斯（CVB）推断方法。我们首先基于下界最大化推导了 IRM 的普通 CVB 和 CVB0。CVB 解法为在给定截断簇数的情况下推断 IRM 提供了确定性迭代过程。我们的方案包括对超参数（包括狄利克雷过程的浓度参数）的 CVB0 更新，这在文献中尚未被研究。为了使 CVB 更具实用性，我们从两个方面进一步研究了 CVB 推断。首先，我们研究了收敛性问题，并开发了一种适用于任何基于 CVB 的推断的收敛保证算法 ACVB，该算法能够实现自动收敛检测，使非专家从业者无需进行困难且昂贵的手动推断过程监控。其次，我们提出了一些加速 IRM 推断的技术。特别是，我们描述了 CVB0 的线性时间推断，使得 IRM 能够用于更大的关系数据。实验表明，IRM 的 ACVB 解法表现出与现有推断方法相当或更好的性能，并提供了确定性、更快且更易检测的收敛性。
引用
@article{arxiv.1409.4757,
title = {Collapsed Variational Bayes Inference of Infinite Relational Model},
author = {Katsuhiko Ishiguro and Issei Sato and Naonori Ueda},
journal= {arXiv preprint arXiv:1409.4757},
year = {2014}
}