镜像空间聚合（AIMS）：军事环境下快速准确的分布式机器学习

分布式机器学习（DML）可成为现代军队的一项重要能力，用以利用分布于多个观测点的数据和设备进行适应与学习。然而，现有的分布式机器学习框架无法充分发挥 DML 的优势，因为它们都基于简单的线性聚合框架，而线性聚合无法应对军事环境中出现的$\textit{发散挑战}$：不同设备上的学习数据可能异构（$\textit{即}$ Non-IID 数据），导致模型发散，但设备间的通信能力受到极大限制（$\textit{即}$，由于稀疏且动态的通信造成的弱连接），降低了设备调和模型发散的能力。在本文中，我们引入了一种称为镜像空间聚合（AIMS）的新型 DML 框架，它允许 DML 系统引入一个通用镜像函数，将模型映射到镜像空间中进行聚合与梯度下降。根据发散力调整镜像函数的凸性，AIMS 可实现 DML 的自动优化。我们进行了严格的分析与广泛的实验评估，以证明 AIMS 的优势。例如，我们证明 AIMS 在 $T$ 次全网更新后达到 $O\left((\frac{m^{r+1}}{T})^{\frac1r}\right)$ 的损失，其中 $m$ 为设备数量，$r$ 为镜像函数的凸性，现有线性聚合框架为 $r=2$ 的特例。我们使用 EMANE（可扩展移动自组织网络仿真器）在军事通信环境下进行的实验评估显示出类似结果：AIMS 可将 DML 收敛速度提高至多 57%，并能很好地扩展到更多弱连接设备，且与传统线性聚合相比几乎无额外计算开销。