通过低秩训练迈向高效通信与安全的联邦推荐系统
机器学习
2024-02-29 v2 密码学与安全
分布式、并行与集群计算
信息检索
摘要
为了应对日益增长的监管担忧，联邦推荐（FedRec）系统已成为保护用户数据的一种解决方案。然而，这些系统面临的主要挑战之一在于需要在用户设备与中央服务器之间传输神经网络模型所产生的通信开销。针对这些挑战的现有方法通常会导致诸如计算开销、模型特定性约束以及与安全聚合协议的兼容性问题。作为回应，我们提出了一种名为 Correlated Low-rank Structure (CoLR) 的新框架，该框架利用了在保持大多数参数冻结的同时调整轻量级可训练参数的概念。我们的方法在不引入额外计算负担的情况下大幅减少了通信开销。至关重要的是，我们的框架与安全聚合协议保持完全兼容，包括同态加密的稳健使用。该方法使载荷大小减少了高达 93.75%，而在各数据集上的推荐性能仅下降约 8%。用于复现我们实验的代码可在 https://github.com/NNHieu/CoLR-FedRec 找到。
引用
@article{arxiv.2401.03748,
title = {Towards Efficient Communication and Secure Federated Recommendation System via Low-rank Training},
author = {Ngoc-Hieu Nguyen and Tuan-Anh Nguyen and Tuan Nguyen and Vu Tien Hoang and Dung D. Le and Kok-Seng Wong},
journal= {arXiv preprint arXiv:2401.03748},
year = {2024}
}
备注
12 pages, 6 figures, 4 tables