稀疏变分 Student-t 过程

贝叶斯学习理论引入了 Student-t 过程,用于对重尾分布和含异常值的数据集进行建模。然而,尽管 Student-t 过程具有与高斯过程相似的计算复杂度,但对这种模型的稀疏表示关注有限。这主要是由于与先前的稀疏高斯过程相比,其在建模和计算上的难度有所增加。我们的动机是解决对稀疏表示框架的需求,以降低计算复杂度,使 Student-t 过程对于真实世界数据集更加灵活。为此,我们利用 Student-t 过程的条件分布来引入稀疏诱导点。随后利用贝叶斯方法和变分推断推导出一个良定义的下界,通过随机梯度下降促进模型更高效的优化。我们提出了两种计算变分下界的方法,一种利用蒙特卡洛采样,另一种采用 Jensen 不等式来计算损失函数中的 KL 正则化项。我们建议当数据可能包含异常值或表现出重尾行为时,将这些方法作为高斯过程的可行替代方案,并对其适用性提供了具体建议。我们在来自 UCI 和 Kaggle 的各种合成与真实世界数据集上评估了这两种提出的方法,证明了它们在计算复杂度和准确性方面相较于基线方法的有效性,以及对异常值的鲁棒性。