重访模拟空中机器学习：干扰的祝福与诅咒

我们研究由边缘服务器和无线网络中多个智能体执行的分布式机器学习问题。目标是最小化一个由智能体局部损失函数之和构成的全局函数，且优化通过模拟空中模型训练进行。具体而言，每个智能体将其局部梯度调制到一组波形上并同时传输至边缘服务器。从接收到的模拟信号中，边缘服务器提取出被信道衰落和干扰扭曲的带噪聚合梯度，并利用其更新全局模型并反馈给所有智能体以进行新一轮局部计算。由于电磁干扰通常表现出重尾特性，我们使用 $\alpha$-stable 分布对其统计特性进行建模。因此，全局梯度具有无穷方差，阻碍了依赖二阶矩存在的常规收敛分析技术的使用。为克服这一挑战，我们采取新路径来建立算法收敛速率及泛化误差的分析。我们的分析揭示了干扰对整体训练过程的两面效应。在负面方面，重尾噪声减慢了模型训练的收敛速率：干扰分布尾部越重，算法收敛越慢。在正面方面，重尾噪声有可能提升训练模型的泛化能力：尾部越重，模型泛化越好。这一或许反直觉的结论意味着，将干扰仅视为对边缘学习系统有害的流行观点已经过时，我们应当寻求新技术，利用而非仅仅抑制干扰，以在无线网络中实现更好的机器学习。