用于高效且隐私保护的跨设备联邦推荐的拆分双塔模型
信息检索
2023-04-17 v1
摘要
联邦推荐可缓解传统推荐的系统化隐私风险，因为它允许在无需集中收集用户数据的情况下进行模型训练与在线推断。大多数现有工作假设所有用户设备均可参与联邦学习且资源充足。然而在实践中，为准确预测而设计的复杂推荐模型与海量物品数据给资源受限的用户设备带来高计算与通信开销，导致性能不佳或训练失败。因此，如何有效压缩计算与通信开销以在泛在移动设备间实现高效联邦推荐仍是一项重大挑战。本文将对拆分学习引入双塔推荐模型，并提出 STTFedRec，一种隐私保护且高效的跨设备联邦推荐框架。STTFedRec 通过将物品模型的训练与计算从用户设备拆分至性能更强的服务器，实现本地计算削减。拥有物品模型的服务器向用户设备提供低维物品嵌入而非原始物品数据用于本地训练与在线推断，实现服务器广播压缩。用户设备仅需利用缓存的用户嵌入进行相似度计算即可实现高效在线推断。我们还提出混淆物品请求策略与多方环形秘密共享链以增强模型训练的隐私保护。在两个公开数据集上的实验表明，在推荐精度均衡的最佳情形下，STTFedRec 将基线模型的平均计算时间与通信规模分别提升约 40 倍与 42 倍。
引用
@article{arxiv.2206.13715,
title = {Split Two-Tower Model for Efficient and Privacy-Preserving Cross-device Federated Recommendation},
author = {Jiangcheng Qin and Baisong Liu and Xueyuan Zhang and Jiangbo Qian},
journal= {arXiv preprint arXiv:2206.13715},
year = {2023}
}