VFed-SSD：面向实用化垂直联邦广告
机器学习
2023-06-21 v4 分布式、并行与集群计算
信息检索
摘要
作为一种利用跨机构私有数据的新兴安全学习范式，垂直联邦学习（VFL）有望通过 privately 联合学习由广告主与发布方各自拥有的互补用户属性来改进广告模型。然而，将其应用于广告系统存在两个关键挑战：a) 有标签重叠样本规模有限；b) 实时跨机构服务的成本高昂。本文提出一种半监督拆分蒸馏框架 VFed-SSD 以缓解这两类局限。我们指出：i) 广告系统中存在大量无标签重叠数据；ii) 我们可通过分解联邦模型在模型性能与推理成本间保持平衡。具体而言，我们开发了自监督任务匹配对检测（MPD）以利用垂直划分的无标签数据，并提出拆分知识蒸馏（SplitKD）模式以避免跨机构服务。在三个工业数据集上的实证研究表明了我们所提方法的有效性，在所有数据集上的中位 AUC 于本地与联邦部署模式下分别提升 0.86% 与 2.6%。总体而言，我们的框架以最小部署成本与显著性能提升，为实时展示广告提供了高效的联邦增强方案。
引用
@article{arxiv.2205.15987,
title = {VFed-SSD: Towards Practical Vertical Federated Advertising},
author = {Wenjie Li and Qiaolin Xia and Junfeng Deng and Hao Cheng and Jiangming Liu and Kouying Xue and Yong Cheng and Shu-Tao Xia},
journal= {arXiv preprint arXiv:2205.15987},
year = {2023}
}
备注
Accepted to the Trustworthy Federated Learning workshop of IJCAI2022 (FL-IJCAI22). Old version: Semi-Supervised Cross-Silo Advertising with Partial Knowledge Transfer