基于子簇采样的狄利克雷过程高斯混合模型的常见失效模式——及一种深度学习解决方案
机器学习
2022-03-28 v1 机器学习
摘要
狄利克雷过程高斯混合模型（DPGMM）常用于在簇数未知时对数据进行聚类。DPGMM 的一种主要推断范式依赖于采样。此处我们考虑一种已知的最先进采样器（由 Chang 和 Fisher III（2013）提出，并由 Dinari 等人（2019）改进），分析其失效模式，并展示如何改进它，且往往大幅改进。具体而言，在该采样器中，每当形成一个新簇时，会用两个子簇对其进行扩充，其子簇标签随机初始化。在子簇演化过程中，它们用于提出父簇的分裂建议。我们表明，这种随机初始化常常存在问题，并损害了原本有效的采样器。具体地，我们证明该初始化往往导致糟糕的分裂建议和/或在所需分裂被接受前需要过多迭代。这减慢了收敛并可能破坏聚类。作为补救，我们提出两种可即插即用的子簇初始化子程序替代方案。第一种是直观的启发式方法，第二种基于深度学习。我们表明，所提方法产生更好的分裂，进而转化为性能、结果和稳定性上的实质性提升。
引用
@article{arxiv.2203.13661,
title = {Common Failure Modes of Subcluster-based Sampling in Dirichlet Process Gaussian Mixture Models -- and a Deep-learning Solution},
author = {Vlad Winter and Or Dinari and Oren Freifeld},
journal= {arXiv preprint arXiv:2203.13661},
year = {2022}
}
备注
24 pages, 18 figures. To be published in AISTATS 2022