DecHW：利用二阶信息的异构去中心化联邦学习

去中心化联邦学习（DFL）是一种无服务器的协作式机器学习范式，设备直接与相邻设备协作以交换模型信息以学习通用模型。然而，由于个体经验的差异和设备相互作用程度的不同，导致数据和模型初始化在各设备之间存在异构性。这种异构性导致各设备本地模型参数之间存在差异，进而导致收敛速度减慢。本文通过显式处理局部模型中参数级变化的证据，来解决数据和模型异构性问题。引入一种新型聚合方法，该方法捕捉局部模型中这些参数变化，并对邻域局部更新执行稳健的聚合。具体而言，通过对局部模型在其本地数据集上的二阶信息进行近似来生成 consensus 权重。这些权重用于对邻域更新进行比例缩放，然后聚合到全局邻域表示中。在计算机视觉任务的广泛实验中，所提出的方法显示出强大的本地模型通用性，同时显著降低了通信成本。