基于贡献证明的区块链协同机器学习设计

我们考虑一个项目（模型）所有者希望利用感兴趣的数据所有者（即训练者）的本地私有数据和计算能力来训练模型。我们的目标是为此类去中心化协同/联邦学习应用设计一个数据市场，同时提供：i) 基于贡献证明的奖励分配，使训练者根据其对该训练模型的贡献获得补偿；ii) 通过避免数据从数据所有者处任何移动来实现隐私保护的去中心化模型训练；iii) 针对恶意方（例如旨在毒化模型的训练者）的鲁棒性；iv) 可验证性，即数据市场协议中所有计算（包括贡献评估和离群点检测）的完整性（即正确性）可通过零知识证明验证；以及 v) 高效且通用的设计。我们提出一种基于区块链的市场设计以实现上述五个目标。在我们的设计中，除项目所有者和训练者外，还利用了分布式存储基础设施和聚合器。聚合器是执行特定计算的处理节点，包括评估训练者贡献、移除离群点和更新超参数。我们通过区块链智能合约执行所提出的数据市场。部署的智能合约确保项目所有者无法逃避付款，且诚实的训练者在训练结束时根据其贡献获得奖励。最后，我们实现了所提出数据市场的构建模块，并通过大量实验展示了它们在实际场景中的适用性。