基于 Stiefel 流形上测地线 Hamiltonian Monte Carlo 的低秩贝叶斯矩阵补全
机器学习
2024-10-29 v1 机器学习
数值分析
数值分析
统计计算
统计方法学
摘要
我们提出了一种新的基于采样的方法，以实现低秩贝叶斯矩阵补全的高效计算并量化相关的不确定性。首先，我们基于低秩矩阵的奇异值分解（SVD）参数化设计了一种新的先验模型。我们的先验类似于非贝叶斯环境中使用的经典的核范数正则化，并通过将因子矩阵约束在 Stiefel 流形上来强制其正交性。然后，我们设计了一种测地线 Hamiltonian Monte Carlo（-within-Gibbs）算法，用于生成 SVD 因子矩阵的后验样本。我们证明，我们的方法解决了标准 Gibbs 采样器在矩阵补全中常用的双矩阵分解所遇到的采样困难。更重要的是，测地线 Hamiltonian 采样器允许在比现有大多数贝叶斯矩阵补全文献中采用的典型高斯似然和高斯先验假设更一般的似然下进行采样。我们展示了我们的方法在拟合小鼠蛋白质数据集的分类数据和 MovieLens 推荐问题上的应用。数值示例展示了优异的采样性能，包括更好的混合和更快的收敛到平稳分布。此外，它们还证明了在我们考虑的两个真实世界基准问题上具有更高的准确性。
引用
@article{arxiv.2410.20318,
title = {Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds},
author = {Tiangang Cui and Alex Gorodetsky},
journal= {arXiv preprint arXiv:2410.20318},
year = {2024}
}