数据同质性在多智能体非凸随机优化中的作用

本文研究数据同质性在多智能体优化中的作用。聚焦于去中心化随机梯度（DSGD）算法，我们刻画了瞬态时间，其定义为使 DSGD 能够达到与其集中式对应算法相当性能所需的最小迭代次数。当不同智能体处目标函数的 Hessian 矩阵相同时，我们证明对于光滑（可能非凸）目标函数，DSGD 的瞬态时间为 $O( n^{4/3} / \rho^{8/3})$，其中 $n$ 为智能体数量，$\rho$ 为连通图谱间隙。这相较于无 Hessian 同质性假设时的 $O( n^2 / \rho^4 )$ 界有所改进。我们的分析利用了目标函数二次连续可微的性质。数值实验用以阐明数据同质性对 DSGD 快速收敛的本质作用。