martFL:以鲁棒可验证联邦学习架构实现效用驱动的数据市场
摘要
机器学习模型的发展需要大量训练数据。数据市场对于交易线上不可获取的高质量私有领域数据至关重要。然而,由于日益增长的数据隐私担忧,直接的数据交换并不恰当。联邦学习(Federated Learning, FL)是一种分布式机器学习范式,在多方之间交换数据效用(以本地模型或梯度形式)而无需直接共享原始数据。然而,将现有 FL 架构应用于构建数据市场时存在若干挑战:(i) 在现有 FL 架构中,数据获取方(Data Acquirers, DAs)无法在交易前私密评估来自数据提供方(Data Providers, DPs)的本地模型;(ii) 现有 FL 设计中的模型聚合协议难以排除恶意 DPs,而不对 DA(可能有偏的)根数据集产生“过拟合”;(iii) 先前的 FL 设计缺乏适当的计费机制以强制 DA 根据不同 DPs 的贡献公平分配奖励。为应对上述挑战,我们提出 martFL,首个专门设计用于实现安全效用驱动数据市场的联邦学习架构。在高层上,martFL 由两项创新设计驱动:(i) 质量感知的模型聚合协议,即使 DA 的根数据集有偏也能实现鲁棒的本地模型聚合;(ii) 可验证的数据交易协议,使 DA 能以简洁且零知识的方式证明,其已按照承诺的聚合权重忠实地聚合了不同 DPs 提交的本地模型,基于此 DPs 可明确索取相应奖励。我们实现了 martFL 的原型系统,并在多种任务上进行了广泛评估。结果表明,martFL 可将模型准确率提高至多 25%,同时节省至多 64% 的数据获取成本。
引用
@article{arxiv.2309.01098,
title = {martFL: Enabling Utility-Driven Data Marketplace with a Robust and Verifiable Federated Learning Architecture},
author = {Qi Li and Zhuotao Liu and Qi Li and Ke Xu},
journal= {arXiv preprint arXiv:2309.01098},
year = {2024}
}
备注
Another version of this paper is published in the proceedings of ACM Conference on Computer and Communications Security (CCS) 2023