可扩展的随机特征潜变量模型
机器学习
2024-10-24 v1 人工智能
摘要
随机特征潜变量模型代表了潜变量模型的最新技术水平，能够处理非高斯似然函数并有效揭示高维数据中的模式。然而，它们对蒙特卡洛采样的严重依赖导致了可扩展性问题，使得这些模型难以用于具有海量观测值的数据集。为了扩展RFLVM，我们转向基于优化的变分贝叶斯推断算法，该算法以其相较于基于采样的方法的可扩展性而闻名。然而，为RFLVM实现VBI面临挑战，例如在核学习组件中缺乏狄利克雷过程的显式概率分布函数，以及现有VBI算法与RFLVM的不兼容性。为了解决这些问题，我们引入了DP的stick-breaking构造以获得显式PDF，并提出了一种新颖的VBI算法，称为“块坐标下降变分推断”。这促成了RFLVM的可扩展版本（简称SRFLVM）的开发。我们提出的方法在生成信息丰富的潜在表示和跨各种真实世界数据集填补缺失数据方面展现出可扩展性、计算效率和优越性能，超越了最先进的竞争对手。
引用
@article{arxiv.2410.17700,
title = {Scalable Random Feature Latent Variable Models},
author = {Ying Li and Zhidi Lin and Yuhao Liu and Michael Minyi Zhang and Pablo M. Olmos and Petar M. Djurić},
journal= {arXiv preprint arXiv:2410.17700},
year = {2024}
}