使用FAIR的异构联邦协同过滤：随机子空间中的联邦平均
机器学习
2023-11-06 v1
摘要
用于物品（如电影、书籍）和广告的推荐系统(RS)被广泛用于在各互联网平台上为用户定制内容。传统上，推荐模型在中心服务器上训练。然而，由于对数据隐私的日益关注以及如GDPR等法规，联邦学习成为一种日益流行的范式，其中数据从不离开客户端设备。由于庞大的嵌入表往往超出大多数用户设备的内存限制，将联邦学习应用于推荐模型并非易事。为在联邦学习中纳入所有设备的数据，我们必须使具有异构内存容量的设备上的嵌入表能够集体训练。当前异构联邦学习的解决方案只能适应很小范围的容量，从而限制了可参与训练的设备数量。我们提出随机子空间中的联邦平均(FAIR)，其允许基于设备容量对任意压缩嵌入表，并确保所有设备参与训练。FAIR使用我们所称的由基于哈希的随机投影定义的一致且可折叠子空间，在用户设备上使用不同压缩量联合训练大型嵌入表。我们在多个数据集的神经协同过滤任务上评估FAIR，并验证FAIR能从具有不同容量的广泛设备收集与共享信息，实现无缝协作。我们证明了FAIR在非独立同分布数据分布的同构设定下的收敛性。我们的代码开源于{https://github.com/apd10/FLCF}。
引用
@article{arxiv.2311.01722,
title = {Heterogeneous federated collaborative filtering using FAIR: Federated Averaging in Random Subspaces},
author = {Aditya Desai and Benjamin Meisburger and Zichang Liu and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2311.01722},
year = {2023}
}