隐私博弈:隐私限制下迈向更好的联邦平台协作
机器学习
2022-06-06 v3
摘要
纵向联邦学习(VFL)旨在利用存储在不同平台上、具有不同特征空间的跨孤岛数据来训练模型。现有的VFL方法通常假设每个平台上的所有数据均可用于模型训练。然而,由于联邦学习固有的隐私风险,所涉及的数据总量可能受到限制。此外,现有的VFL研究通常假设只有一个平台拥有任务标签并能从协作中获益,这使得吸引其他平台加入协作学习变得困难。本文研究了隐私约束下VFL中的平台协作问题。我们提出通过互惠协作来激励不同平台,在此框架下,所有平台都能利用VFL框架中的多平台信息来使自身的任务受益。在有限的隐私预算下,每个平台需要明智地分配其数据配额以与其他平台协作。由此,它们自然形成了一个多方博弈。该博弈中有两个核心问题,即如何评估其他平台的数据价值以计算博弈收益,以及如何优化策略以求解该博弈。为了评估其他平台数据的贡献,每个平台提供少量“押金”数据来参与VFL。我们提出了一种性能估计方法,用于预测涉及不同平台间数据量组合时的预期模型性能。为了求解该博弈,我们提出了一种平台协商方法,该方法模拟平台间的讨价还价过程,并通过梯度下降局部优化其策略。在两个真实世界数据集上的大量实验表明,我们的方法能够有效促进隐私限制下VFL中多平台数据的协作利用。
引用
@article{arxiv.2202.05139,
title = {Game of Privacy: Towards Better Federated Platform Collaboration under Privacy Restriction},
author = {Chuhan Wu and Fangzhao Wu and Tao Qi and Yanlin Wang and Yuqing Yang and Yongfeng Huang and Xing Xie},
journal= {arXiv preprint arXiv:2202.05139},
year = {2022}
}
备注
Submitted to KDD 2022