使用小批量的最优分布式在线预测

在线预测方法通常被表述为在单处理器上运行的串行算法。然而，在网页级预测问题的时代，单处理器无法跟上输入到达的高速率的情况日益普遍。在这项工作中，我们提出了分布式小批量算法，这是一种将许多基于梯度的串行在线预测算法转换为分布式算法的方法。我们证明了该方法的遗憾界对于光滑凸损失函数和随机输入是渐近最优的。此外，我们的分析明确考虑了分布式环境中节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，在多个处理器上实现渐近线性加速。最后，我们在一个网页级在线预测问题上展示了我们方法的优点。