潜变量高斯过程模型的完全贝叶斯推断
机器学习
2023-03-21 v2 机器学习
摘要
真实的工程与科学应用常涉及一个或多个定性输入。然而标准高斯过程（GPs）无法直接处理定性输入。近期提出的潜变量高斯过程（LVGP）通过将每个定性因子映射到潜在变量（LVs），然后在这些LVs上采用任意标准GP协方差函数，克服了该问题。LVs类似于其他GP超参数通过极大似然估计得到，并代入预测表达式。但此种代入式方法未考虑LVs估计中的不确定性，在训练数据有限时该不确定性可能显著。本工作中，我们为LVGP模型开发完全贝叶斯方法，并通过其LVs可视化定性输入的影响。我们还开发了用于扩展LVGP以及LVGP超参数完全贝叶斯推断的近似方法。我们通过若干工程模型与材料设计应用中的数值研究，比较代入式推断与完全贝叶斯推断。与先前对标准GP建模大多认为完全贝叶斯处理改进有限的研究相反，我们的结果表明对于LVGP建模，其在预测精度与不确定性量化上相较代入式方法均有显著改进。
引用
@article{arxiv.2211.02218,
title = {Fully Bayesian inference for latent variable Gaussian process models},
author = {Suraj Yerramilli and Akshay Iyer and Wei Chen and Daniel W. Apley},
journal= {arXiv preprint arXiv:2211.02218},
year = {2023}
}