利用局部敏感采样(LSS)扩展分裂-合并MCMC
机器学习
2018-10-15 v3 人工智能
数据结构与算法
统计方法学
机器学习
摘要
分裂-合并MCMC(蒙特卡洛马尔可夫链)是MCMC在状态由未知数量分量构成的问题中的重要且流行的变体之一。众所周知,最先进的分裂-合并MCMC方法难以扩展。快速混合的策略需要智能且信息丰富的提议以减小拒绝率。然而,所有已知的智能提议都涉及昂贵操作以建议信息丰富的转移。因此,每次迭代的成本对于大规模数据集而言高得令人望而却步。进一步已知,无信息但计算高效的提议(如随机分裂-合并)会导致极慢收敛。混合时间与每次更新成本之间的这种权衡似乎难以规避。本文中,我们展示了一种折中方案。我们利用加权MinHash(一种流行的LSH,即局部敏感哈希)的一些独特性质,设计了一类新颖的分裂-合并提议,其比随机采样信息丰富得多,同时计算高效。总体而言,我们在收敛与每次更新成本之间获得了优越的权衡。作为直接结果,在两个具有数百万实体和数千聚类的大型真实数据集KDDCUP和PubMed上,我们的提议比最先进采样方法快约6倍。
引用
@article{arxiv.1802.07444,
title = {Scaling-up Split-Merge MCMC with Locality Sensitive Sampling (LSS)},
author = {Chen Luo and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:1802.07444},
year = {2018}
}