FedPDD：一种用于跨孤岛联邦推荐的隐私保护双重蒸馏框架
信息检索
2024-01-31 v2 密码学与安全
分布式、并行与集群计算
机器学习
摘要
跨平台推荐旨在通过汇集不同平台的异质特征来提升推荐精度。然而，平台间此类跨孤岛协作受日益严格的数据保护法规限制，故数据无法聚合训练。联邦学习（FL）是应对推荐场景中数据孤岛问题的实用方案。现有跨孤岛FL方法利用重叠用户的数据传输模型信息以协作构建全局模型。但实际中重叠用户数量往往极少，因而严重制约此类方法的性能。此外，训练期间传输模型信息需高昂通信成本且可能导致严重隐私泄露。本文提出一种名为FedPDD的新型隐私保护双重蒸馏框架用于跨孤岛联邦推荐，可在重叠用户有限时高效迁移知识。具体而言，我们的双重蒸馏策略使本地模型不仅能从对方学习显式知识，还能从其过往预测中学习隐式知识。 moreover，为保障隐私与高效率，我们采用离线训练方案以降低通信需求与隐私泄露风险。此外，我们采用差分隐私进一步保护所传输信息。在HetRec-MovieLens与Criteo两个真实推荐数据集上的实验证明了FedPDD相较最先进方法的有效性。
引用
@article{arxiv.2305.06272,
title = {FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation},
author = {Sheng Wan and Dashan Gao and Hanlin Gu and Daning Hu},
journal= {arXiv preprint arXiv:2305.06272},
year = {2024}
}
备注
Accepted by IJCNN2023