基于多智能体强化学习的 D2D 启用联邦学习图谱发现

通过设备间直接通信（D2D）增强联邦学习（FL）可有助于提高收敛速度并减少模型偏差，通过本地信息交换。然而，数据隐私 concerns、设备之间信任约束以及不可靠的无线信道均为寻找有效且资源高效的 D2D 图结构提出挑战。本文开发了一种去中心化强化学习（RL）方法，用于 D2D 图谱发现，通过可靠链路传输具有影响力的数据点，同时遵循数据和设备特定的信任约束。每个设备上的独立 RL 代理训练策略，以无需暴露本地数据或显著通信开销的方式对 incoming links 产生影响进行预测。对于监督场景，D2D 图谱旨在提高设备特定标签多样性，同时不损害系统层面性能。对于半监督场景，通过引入分布式标签传播实现。对于无监督场景，我们开发了一种基于变异的多样性度量，用于以占据潜在空间的方式估计数据多样性。数值实验表明，我们的方法所诱导的数据多样性改进使收敛速度提高最高可达 3 倍，能源消耗降低最高可达 5 倍。实验还表明该方法对 straggler 以及聚合间隔的变化具有鲁棒性。最后，我们表明该方法在更大系统规模下能够提供扩展优势，而不会增加相对开销，并能够适应各种下游 FL 架构以及动态无线环境。