FEL：通过联邦集成学习实现高容量推荐与排序
信息检索
2022-06-09 v1 机器学习
摘要
联邦学习（FL）已成为满足消费者隐私需求的有效途径。FL已成功应用于若干机器学习任务，如训练智能键盘模型与关键词 spotting。尽管FL取得初步成功，许多重要的深度学习用例（如排序与推荐任务）受限于设备端学习。基于DL的排序与推荐实用FL部署面临的关键挑战之一，是现代移动系统无法满足的严苛资源需求。我们提出联邦集成学习（FEL）以解决深度学习排序与推荐任务的大内存需求。FEL通过在互不相交的客户端设备簇上同时训练多个模型版本，实现设备端大规模排序与推荐模型训练。FEL经一个上层架构将训练所得子模型集成为服务器托管的集成模型。实验表明，相较传统设备端联邦学习，FEL带来0.43-2.31%的模型质量提升——对排序与推荐系统用例而言是显著改进。
引用
@article{arxiv.2206.03852,
title = {FEL: High Capacity Learning for Recommendation and Ranking via Federated Ensemble Learning},
author = {Meisam Hejazinia and Dzmitry Huba and Ilias Leontiadis and Kiwan Maeng and Mani Malek and Luca Melis and Ilya Mironov and Milad Nasr and Kaikai Wang and Carole-Jean Wu},
journal= {arXiv preprint arXiv:2206.03852},
year = {2022}
}