面向差分隐私 over-the-air 联邦蒸馏的通信-学习协同设计
信息论
2025-08-12 v1 机器学习
信号处理
math.IT
摘要
当今大模型规模不断扩大，挑战了传统联邦学习 (FL) 的通信效率和隐私保护能力。本文提出一种新型差分隐私 (DP) over-the-air 联邦蒸馏 (FD) 框架，无线设备 (WD) 利用多访问信道的叠加特性定期分享扰动后模型输出与参数服务器协同工作。因此，over-the-air FD 将 DP 保护责任共享于 WD 之间低维披露信号。我们研究差分隐私 over-the-air FD 中的通信-学习协同设计问题，旨在满足 WD 的传输功率和 DP 要求的前提下最大化学习收敛速率。主要挑战在于：over-the-air FD 中的学习与隐私分析难以求解，以及跨两个时间尺度的决策变量间的强耦合。为解决此问题，我们首先推导 WD 的学习收敛速率和隐私损失解析表达式，基于此获得每个 FD 轮次的最优信道编码设计及长期训练轮次决策的闭式解。数值实验表明，所提差分隐私 over-the-air FD 方法在大幅降低通信开销的同时，实现了更优的学习-隐私权衡，优于传统 FL 基准方案。
引用
@article{arxiv.2508.06557,
title = {Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation},
author = {Zihao Hu and Jia Yan and Ying-Jun Angela Zhang},
journal= {arXiv preprint arXiv:2508.06557},
year = {2025}
}
备注
9 pages, 2 figures, submitted to IEEE Wireless Communication Letters