高斯过程正则化方法的解析比较
最优化与控制
2017-05-08 v3 统计理论
机器学习
统计理论
摘要
高斯过程（GPs）是预测参数化实验输出的一种流行方法。它们在计算机实验领域有许多应用，特别是用于执行灵敏度分析、自适应实验设计和全局优化。几乎所有GP的应用都需要协方差矩阵求逆，而实践中该矩阵常常是病态的。于是采用正则化方法，其对GP的影响需要被更好地理解。处理病态协方差矩阵的两种主要方法是 i) 伪逆和 ii) 在对角线上添加正常数（所谓的块金正则化）。本文第一部分提供了PI（伪逆）与块金正则化的代数比较。定义了导致协方差矩阵奇异的冗余点。证明了伪逆正则化与块金正则化相反，它对输出值取平均并使冗余点处的方差为零。然而，随着块金值趋于零，伪逆与块金正则化变得等价。提出了一种数据-模型差异的度量，用于选择正则化技术。在论文第二部分，引入了分布型GP，它插值高斯分布而非数据点。分布型GP可被视为GP的一种改进正则化方法。
引用
@article{arxiv.1602.00853,
title = {An analytic comparison of regularization methods for Gaussian Processes},
author = {Hossein Mohammadi and Rodolphe Le Riche and Nicolas Durrande and Eric Touboul and Xavier Bay},
journal= {arXiv preprint arXiv:1602.00853},
year = {2017}
}