通过随机截断实现无偏可扩展高斯过程
机器学习
2021-06-30 v2 机器学习
摘要
可扩展高斯过程方法在计算上具有吸引力，但引入了需要严格研究的建模偏差。本文分析了两种常用技术：早期截断共轭梯度（CG）和随机傅里叶特征（RFF）。我们发现两种方法都在所学超参数上引入了系统性偏差：CG 倾向于欠拟合而 RFF 倾向于过拟合。我们利用随机截断估计量解决这些问题，以增加的方差换取偏差的消除。在 RFF 的情况下，我们表明偏差到方差的转换确实是一种权衡：额外的方差被证明不利于优化。然而，在 CG 的情况下，我们的无偏学习过程以极小的额外计算显著优于其有偏对应方法。
引用
@article{arxiv.2102.06695,
title = {Bias-Free Scalable Gaussian Processes via Randomized Truncations},
author = {Andres Potapczynski and Luhuan Wu and Dan Biderman and Geoff Pleiss and John P. Cunningham},
journal= {arXiv preprint arXiv:2102.06695},
year = {2021}
}