Mix2FLD：上行联邦蒸馏后下行联邦学习的双向 Mixup 方法
机器学习
2020-06-18 v1 机器学习
摘要
本文提出一种新颖的通信高效且保护隐私的分布式机器学习框架，称为 Mix2FLD。为应对上行-下行容量不对称，本地模型输出在上行中按联邦蒸馏（FD）方式上传至服务器，而全局模型参数在下行中按联邦学习（FL）方式下载。这需要在服务器收集来自设备的额外数据样本后，进行模型输出到参数的转换。为在保护隐私的同时不损害精度，上传线性混合的本地样本，并在服务器跨不同设备反向混合。数值评估表明，在非对称上行-下行信道下，与 FL 相比，Mix2FLD 的测试精度提高多达 16.7%，同时将收敛时间减少多达 18.8%。
引用
@article{arxiv.2006.09801,
title = {Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation With Two-Way Mixup},
author = {Seungeun Oh and Jihong Park and Eunjeong Jeong and Hyesung Kim and Mehdi Bennis and Seong-Lyun Kim},
journal= {arXiv preprint arXiv:2006.09801},
year = {2020}
}
备注
5 pages, 3 figures, 3 tables, accepted to IEEE Communications Letters