稀疏变分Student-t过程：用于重尾建模
机器学习
2026-03-11 v2 人工智能
摘要
高斯过程（GP）是一种强大的非参数建模工具，但其对离群值的敏感性限制了其在数据分布具有重尾特性时的适用性。Student-t过程是一种用于重尾建模的稳健替代方案，但其缺乏对大规模数据集所需实际应用中可扩展性发展。我们提出稀疏变分Student-t过程（Sparse Variational Student-t Processes, SVTP），这是第一个将稀疏诱导点方法扩展至Student-t过程的原则框架。我们发展了两个具有理论保证的新型推断算法，SVTP-UB和SVTP-MC，并推导一种自然梯度优化，利用了Fisher信息矩阵与beta函数（“beta链”）之间此前未使用的联系。实验在UCI和Kaggle数据集上表明，SVTP在数据包含离群值和重尾情况下的表现显著优于稀疏GP，实现了最高可达3倍的加速收敛和40%的预测误差降低，同时保持了20万样本数据的计算效率。
引用
@article{arxiv.2408.06699,
title = {Sparse Variational Student-t Processes for Heavy-tailed Modeling},
author = {Jian Xu and Delu Zeng and John Paisley},
journal= {arXiv preprint arXiv:2408.06699},
year = {2026}
}