利用集成跨域知识蒸馏保护联邦学习中的隐私
密码学与安全
2022-09-13 v1 计算机视觉与模式识别
机器学习
摘要
联邦学习（FL）是一种机器学习范式，其中本地节点协作训练中心模型，而训练数据保持去中心化。现有 FL 方法通常共享模型参数或采用协同蒸馏来解决数据分布不平衡的问题。然而，它们存在通信瓶颈。更重要的是，它们面临隐私泄露风险。在这项工作中，我们开发了一种在 FL 框架中具有隐私保护和通信高效的方法，使用未标记的跨域公共数据进行一次性离线知识蒸馏。我们提出对完全训练好的本地模型的本地预测进行量化和加噪的集成，以在不牺牲准确率的情况下提供更强的隐私保证。基于在图像分类和文本分类任务上的大量实验，我们表明我们的隐私保护方法在准确率和通信效率上均优于基线 FL 算法。
引用
@article{arxiv.2209.04599,
title = {Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation},
author = {Xuan Gong and Abhishek Sharma and Srikrishna Karanam and Ziyan Wu and Terrence Chen and David Doermann and Arun Innanje},
journal= {arXiv preprint arXiv:2209.04599},
year = {2022}
}
备注
Accepted by AAAI2022