数据分布式加权多数与在线镜像下降
机器学习
2019-08-17 v1 分布式、并行与集群计算
摘要
本文重点关注在线学习能在多大程度上受益于分布式计算的问题。我们关注个智能体协作进行在线学习的设定，其中每个智能体只能访问其自身的数据。我们提出了一种通用的数据分布式在线学习元算法。随后，我们引入了分布式加权多数算法和分布式在线镜像下降算法作为其特例。我们通过理论分析和实验表明，与单智能体相比：在给定相同计算时间的情况下，这些分布式算法实现了更小的泛化误差；而在给定相同泛化误差的情况下，它们可以快倍。
引用
@article{arxiv.1105.2274,
title = {Data-Distributed Weighted Majority and Online Mirror Descent},
author = {Hua Ouyang and Alexander Gray},
journal= {arXiv preprint arXiv:1105.2274},
year = {2019}
}