中文

基于组合ELBO的可扩展鲁棒贝叶斯共聚类

机器学习 2025-04-10 v2 机器学习

摘要

共聚类利用实例与特征的二元性同时在两个维度上发现有意义的组,常在高维或稀疏数据环境中超越传统聚类方法。虽然最近的深度学习方法成功地整合了特征学习与聚类分配,但仍易受噪声影响并可能在标准自编码器中出现后验塌陷。本文提出了首个完全变分共聚类框架,直接在潜空间中学习行和列聚类,利用双重重参数化ELBO提高梯度信噪比。我们的无监督模型将变分深层嵌入与高斯混合模型(GMM)先验相结合,用于实例和特征,提供内置聚类机制,自然将潜在模式与行列聚类对齐。此外,我们的正则化端到端噪声学习组合ELBO架构在单一训练管道中联合重构数据并通过KL散度对抗噪声,从而优雅地处理受损或缺失的输入。为抵消后验塌陷,我们引入一种比例修正,仅在重建路径中增加编码器的潜在均值,保持更丰富的潜在表示而不增加KL项。最后,基于互信息的交叉损失确保行列的协同聚类。在来自多个模态、数值、文本和图像的多样真实数据集上的实验结果表明,我们的方法不仅保留了先前共聚类方法的优势,还在准确性和鲁棒性方面显著优于它们,尤其在高维或噪声环境中表现更佳。

关键词

引用

@article{arxiv.2504.04079,
  title  = {Scalable Robust Bayesian Co-Clustering with Compositional ELBOs},
  author = {Ashwin Vinod and Chandrajit Bajaj},
  journal= {arXiv preprint arXiv:2504.04079},
  year   = {2025}
}