从高斯过程升级到 Student's-T 过程
机器学习
2018-01-19 v1
摘要
高斯过程先验常用于航空航天设计中的贝叶斯优化。然而，高斯过程存在两个显著缺陷：异常值在先验上被认为不太可能出现，且基于观测数据的后验方差仅依赖于这些数据点的位置，而非相关的样本值。Student's-T 过程是高斯过程的推广，建立在 Student's-T 分布而非高斯分布之上。Student's-T 过程保持了高斯过程的主要优势（核函数、解析更新规则），并具备超出高斯过程的额外益处。Student's-T 分布比高斯分布具有更高的峰度，因此异常值出现的可能性大得多，且后验方差会根据观测数据样本值的方差而增大或减小。在此，我们描述 Student's-T 过程，并讨论其在航空航天优化背景下的优势。我们展示如何使用核函数构造 Student's-T 过程，以及如何在给定新样本时更新该过程。我们清晰推导了与优化相关的量（如期望改进），并与高斯过程的相应计算进行对比。最后，我们在贝叶斯优化的经典测试问题上比较 Student's-T 过程与高斯过程的性能，并将 Student's-T 过程应用于一个气动结构优化设计问题。
引用
@article{arxiv.1801.06147,
title = {Upgrading from Gaussian Processes to Student's-T Processes},
author = {Brendan D. Tracey and David H. Wolpert},
journal= {arXiv preprint arXiv:1801.06147},
year = {2018}
}
备注
2018 AIAA Non-Deterministic Approaches Conference