具有在线决策性能保证的流式PAC-Bayes高斯过程回归
机器学习
2022-10-27 v2 人工智能
机器学习
摘要
作为一种强大的贝叶斯非参数算法，高斯过程(GP)在贝叶斯优化与信号处理中发挥了重要作用。GP也推动了在线决策系统的发展，因为其 posterior 分布具有闭式解。然而，其训练与推断过程需存储所有历史数据并从头训练GP模型。鉴于此，若干在线GP算法如O-SGPR与O-SVGP被专门设计用于流式场景。本文基于在线可能近似正确(PAC)贝叶斯理论提出一种在线GP的新理论框架，该框架同时提供泛化性能保证与良好精度。我们的算法不最小化边际似然，而是优化经验风险函数与正则项，后者与参数先验分布和后验分布间的散度成正比。除理论优势外，该算法在多个回归数据集上实证表现良好。相较于其他在线GP算法，我们的算法给出了泛化保证且精度极具竞争力。
引用
@article{arxiv.2210.08486,
title = {Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making},
author = {Tianyu Liu and Jie Lu and Zheng Yan and Guangquan Zhang},
journal= {arXiv preprint arXiv:2210.08486},
year = {2022}
}