跨多数据中心的协同深度学习

有价值的训练数据通常归独立组织所有并分布于多个数据中心。多数深度学习方法为性能考虑要求将多数据中心数据集中化。然而在实践中，由于带宽限制以及隐私法规约束，通常难以将所有数据传输至集中式数据中心。模型平均是数据并行化训练的传统选择，但先前研究称其无效，因为深度神经网络常常是非凸的。本文中，我们论证通过采用循环学习率和增加本地模型训练轮数两种策略，模型平均在去中心化环境中可以是有效的。借助这两种策略，我们表明相较于数据中心化模式，模型平均在去中心化模式下能提供具竞争力的性能。在多数据中心的实用环境中，我们使用最先进的深度网络架构在不同类型数据上进行了广泛实验。结果证明了所提方法的有效性与鲁棒性。