一种神经网络并行与分布式训练框架

本文旨在开发一种在分布式环境中训练神经网络 的通用框架，其中训练数据被划分给一组通过稀疏且可能随时间变化的连接模式相互通信的智能体。在这种分布式场景下，训练问题可表述为一个非凸社会代价函数的（正则化）优化，该代价函数由局部（非凸）代价之和给出，其中每个智能体贡献一个基于其局部数据集定义的单一误差项。为了设计灵活且高效的解决方案，我们定制了一个最近提出的网络非凸优化框架，该框架依赖于（原始）凸化-分解技术来处理非凸性，并利用动态一致性程序在智能体间扩散信息。框架中包含了训练准则的若干典型选择（如平方损失、交叉熵等）和正则化（如 $\ell_2$ 范数、稀疏诱导惩罚等），并在文中进行了探讨。在温和假设下，保证了社会非凸问题向平稳解的收敛。此外，我们展示了一种有原则的方法，允许每个智能体利用可能的多核架构（如局部云）以并行化其局部优化步骤，从而产生兼具分布式（跨智能体）和并行（智能体内部）特性的策略。全面的实验结果验证了所提出的方法。