无良师指导下保护隐私的联邦蒸馏选择性知识共享
机器学习
2023-12-18 v4
摘要
尽管联邦学习有望在不泄露本地数据的情况下实现保护隐私的协作学习，但它仍易受白盒攻击，且难以适应异构客户端。联邦蒸馏（FD）建立在知识蒸馏——一种将知识从教师模型迁移到学生模型的有效技术——之上，作为一种替代范式出现，提供了增强的隐私保证并解决了模型异构性问题。然而，由于本地数据分布的变化以及缺乏训练良好的教师模型，出现了挑战，导致误导性和模糊的知识共享，严重降低了模型性能。为解决这些问题，本文提出一种用于 FD 的选择性知识共享机制，称为 Selective-FD。它包含客户端选择器和服务器端选择器，分别用于准确且精确地从本地预测和集成预测中识别知识。由理论见解支撑的实证研究表明，我们的方法增强了 FD 框架的泛化能力，并持续优于基线方法。
引用
@article{arxiv.2304.01731,
title = {Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher},
author = {Jiawei Shao and Fangzhao Wu and Jun Zhang},
journal= {arXiv preprint arXiv:2304.01731},
year = {2023}
}
备注
This paper was accepted to Nature Communications