分布式与通信受限系统中高斯过程的学习
机器学习
2017-05-09 v1 信息论
机器学习
math.IT
摘要
在分布式和通信受限系统中寻找获得统计模型学习最优性能的算法具有根本重要性。旨在刻画最优策略，我们考虑分布式系统中高斯过程（GPs）的学习作为一个关键例子。我们首先解决一个非常基本的问题：跨分布式机器估计高斯向量内积需要多少比特？利用信息论界，我们获得了该问题的最优解，其基于矢量量化。还提出了两种次优且更实用的方案作为矢量量化方案的替代。特别地，表明称为逐符号量化（per-symbol quantization）的实用方案之一的性能非常接近最优方案。为内积计算提供的方案被整合到我们提出的用于高斯过程的分布式学习方法中。实验结果表明，在我们的通信方案中每个符号花费少量比特，我们提出的方法优于先前的零速率分布式 GP 学习方案，如贝叶斯委员会模型（BCM）和专家乘积（PoE）。
引用
@article{arxiv.1705.02627,
title = {Learning of Gaussian Processes in Distributed and Communication Limited Systems},
author = {Mostafa Tavassolipour and Seyed Abolfazl Motahari and Mohammad-Taghi Manzuri Shalmani},
journal= {arXiv preprint arXiv:1705.02627},
year = {2017}
}