迈向公平联邦推荐学习：刻画系统与数据异构性的相互依赖
信息检索
2022-06-07 v1 机器学习
摘要
联邦学习（FL）是一种通过在设备端运行机器学习模型训练来实现推荐系统数据隐私的有效机制。尽管先前的 FL 优化工作解决了 FL 所面临的数据与系统异构性挑战，但它们假定二者彼此独立。这一基本假设并未反映真实世界的大规模推荐系统——数据与系统异构性紧密交织。本文采用数据驱动方法展示了真实世界数据中数据与系统异构性的相互依赖，并量化了其对整体模型质量与公平性的影响。我们设计了一个框架 RF^2 来建模该相互依赖，并评估其对联邦推荐任务中最先进模型优化技术的影响。我们证明，在现实异构场景下，对公平性的影响可能极为严重，与大多数（若非全部）先前工作所假设的简单设定相比可达 15.8–41 倍。这意味着当现实由系统引发的数据异构性未被恰当建模时，某项优化对公平性的影响可能被低估多达 41 倍。结果表明，建模现实由系统引发的数据异构性对于实现公平联邦推荐学习至关重要。我们计划开源 RF^2，以赋能未来 FL 创新的设计与评估。
引用
@article{arxiv.2206.02633,
title = {Towards Fair Federated Recommendation Learning: Characterizing the Inter-Dependence of System and Data Heterogeneity},
author = {Kiwan Maeng and Haiyu Lu and Luca Melis and John Nguyen and Mike Rabbat and Carole-Jean Wu},
journal= {arXiv preprint arXiv:2206.02633},
year = {2022}
}