基于自适应动作共享的通信高效联邦推荐系统
机器学习
2025-07-15 v1 人工智能
摘要
作为一种面向隐私的协作模型训练范式，联邦学习（FL）正变得流行于分布式推荐系统的设计中。然而，联邦推荐系统（FedRecs）严重受两个主要问题的影响：i）由于推荐系统中涉及大量物品嵌入，通信开销极高；ii）由于异构网络环境和客户端设备的纠缠，训练效率极低。虽然现有方法试图采用各种压缩技术来减少通信开销，但由于模型压缩引入的参数误差，必然会导致模型性能下降。为同时解决上述问题，本文提出了一种通信高效FedRec框架，称为FedRAS，采用动作共享策略将物品嵌入的梯度聚类为特定数量的模型更新动作进行通信，而不是直接压缩物品嵌入。如此一来，云服务器即可利用来自客户端的有限动作来更新所有物品。由于梯度值远小于物品嵌入，因此约束梯度方向（即动作空间）引入的误差小于将整个物品嵌入矩阵压缩到缩减空间的误差。为适应异构设备和网络环境，FedRAS集成了自适应聚类机制，可动态调整动作数量。针对众所周知的数据集进行全面实验表明，FedRAS可在各种异构场景下将通信负载大小降低最高可达96.88%，而不损失推荐性能。我们已在https://github.com/mastlab-T3S/FedRAS上开源FedRAS。
引用
@article{arxiv.2507.08842,
title = {Gradients as an Action: Towards Communication-Efficient Federated Recommender Systems via Adaptive Action Sharing},
author = {Zhufeng Lu and Chentao Jia and Ming Hu and Xiaofei Xie and Mingsong Chen},
journal= {arXiv preprint arXiv:2507.08842},
year = {2025}
}
备注
This paper has been accepted by ACM SIGKDD 2025