HeteFedRec：具有模型异构性的联邦推荐系统
信息检索
2023-12-06 v3
摘要
由于隐私保护的特性，联邦推荐系统（FedRecs）在设备端推荐系统领域引起了越来越多的关注。然而，大多数现有的FedRecs仅允许参与客户端协同训练具有相同公共参数规模的推荐模型。为所有客户端训练相同规模的模型会导致次优性能，因为客户端拥有不同的资源。例如，训练数据有限的客户端可能倾向于训练较小的推荐模型以避免过度的数据消耗，而数据充足的客户端则受益于更大的模型以实现更高的推荐精度。为应对上述挑战，本文提出HeteFedRec，一种新颖的FedRec框架，能够为参与者分配个性化模型规模。在HeteFedRec中，我们提出一种异构推荐模型聚合策略，包括统一的双任务学习机制与维度去相关正则化，以实现不同规模推荐模型间的知识聚合。此外，提出一种基于关系的集成知识蒸馏方法，以有效从异构物品嵌入中蒸馏知识。在三个真实世界推荐数据集上进行的广泛实验证明了HeteFedRec在异构设置下训练联邦推荐系统的有效性与高效性。
引用
@article{arxiv.2307.12810,
title = {HeteFedRec: Federated Recommender Systems with Model Heterogeneity},
author = {Wei Yuan and Liang Qu and Lizhen Cui and Yongxin Tong and Xiaofang Zhou and Hongzhi Yin},
journal= {arXiv preprint arXiv:2307.12810},
year = {2023}
}