基于丘析理论的去中心化多模态学习用于下一代无线通信系统

在大规模通信系统中，越来越复杂的场景需要来自收集各种多模态感知数据的边缘设备之间更聪明的协作，以实现对环境的更全面的理解并提高决策准确性。然而，传统的联邦学习 (FL) 算法通常只考虑单模态数据集，要求相同的模型架构，并未充分利用嵌入在多模态数据中的丰富信息，限制了其适用于具有多样化模态和各异 client 能力的真实世界情景的应用。为了解决这个问题，我们提出了 Sheaf-DMFL，这是一个利用丘析理论 (sheaf theory) 来增强具有多样化模态的 device 之间协作的去中心化多模态学习框架。具体而言，每个 client 拥有一组用于其不同模态的本地特征编码器，其输出在经过特定任务层之前被拼接。虽然针对相同模态的编码器在 client 之间进行协作训练，但我们使用基于丘析的结构来捕捉 client 任务特定层之间的内在相关性。为了进一步增强学习能力，我们提出了一种增强算法，称为 Sheaf-DMFL-Att，该算法在每个 client 内部针对不同模态之间的相关性采用注意力机制。我们提供了 Sheaf-DMFL-Att 的严格收敛性分析，确立了其理论保证。在真实世界的链路阻塞预测和 mmWave 波束赋能场景上进行大量仿真实验，证明了该提议算法在此类异构无线通信系统中的优越性。