使用期望传播的可扩展多类高斯过程分类
机器学习
2017-06-23 v1
摘要
本文描述了一种用于高斯过程多类分类的期望传播（EP）方法，该方法能良好地扩展到超大规模数据集。在此方法中，对数边际似然的估计涉及跨数据实例的求和。这使得使用随机梯度和小批量进行高效训练成为可能。当采用此类训练方式时，计算成本不依赖于数据实例数 N。此外，近似推断过程中的额外假设使得内存成本也与 N 无关。其结果是，所提出的 EP 方法可用于具有数百万实例的数据集。我们通过实验将该方法与使用变分推断近似所需计算的替代方法进行了比较。结果表明，该方法性能与这些技术相似甚至更优，后者有时在测试对数似然方面给出的预测分布显著更差。除此之外，所提出方法的训练过程似乎也能在更少的迭代次数内收敛。
引用
@article{arxiv.1706.07258,
title = {Scalable Multi-Class Gaussian Process Classification using Expectation Propagation},
author = {Carlos Villacampa-Calvo and Daniel Hernández-Lobato},
journal= {arXiv preprint arXiv:1706.07258},
year = {2017}
}