Over-the-Air 联邦蒸馏中的最优收发机设计

人工智能 (AI) 的快速普及和增长导致了联邦学习 (FL) 的发展。FL 使无线设备 (WD) 能够通过仅共享本地模型参数而协同学习，无需共享整个数据集。然而，大型 AI 模型的出现使得现有 FL 方法变得效率低下，因需要传输大量模型参数。为此，本文提出一种新型的 over-the-air 联邦蒸馏 (FD) 框架，通过融合 FL 和知识蒸馏的优势，规避了沉重的本地模型传输。与共享模型参数不同，仅传输 WD 的模型输出，即所谓的知识，在多个访问信道的叠加特性下进行 over-the-air 聚合。我们将研究 over-the-air FD 中的收发机设计，旨在在满足收发机功率约束的前提下最大化学习收敛速率。主要挑战在于学习性能分析的不可计算性，以及问题的非凸性以及跨整个 FD 训练周期的优化。为解决此问题，我们首先推导了 over-the-air FD 中收敛速率的解析表达式。随后，在给定接收机合成策略的条件下，获得 WD 发射功率和 over-the-air 聚合估计器的闭式最优解。据此，我们提出一种通过半正松弛求解接收机波束赋形矢量的高效方法。我们进一步证明了原始问题与松弛问题在接收机波beamforming 设计之间不存在最优间隙。数值结果将表明，所提出的 over-the-air FD 方法在通信开销上实现了显著降低，仅在对常规 FL benchmark 稍有牺牲的情况下即可实现更高的测试准确率。