基于奖励的区块链上1-bit压缩联邦蒸馏
机器学习
2021-06-29 v1 密码学与安全
分布式、并行与集群计算
摘要
近来各类联邦知识蒸馏（FD）的出现，为新一代鲁棒且通信高效的联邦学习（FL）铺平了道路，其中仅聚合软标签，而非如先前FL方案那样聚合深度神经网络（DNN）的完整梯度。这种天生安全的方案，结合性能日益增强的物联网（IoT）与移动设备，为利用来自工业界及个人的私有数据作为人工智能模型训练输入开辟了新可能。然而在以往的FL系统中，由于工人与中心权威间权力失衡导致的信任缺失、对工人利他参与的假设，以及无法正确度量与比较工人贡献，阻碍了该技术从小规模已互信实体群体向大规模普及的扩展。本工作旨在通过引入一种新颖的去中心化联邦学习框架来缓解上述问题，其中高度压缩的、类似1-hot标签预测的1-bit软标签在智能合约上聚合。在工人贡献如今易于比较的背景下，我们改进了面向FD的众包同伴真值血清机制（PTSC），以基于同伴一致性的激励相容方式奖励诚实参与。由于计算复杂度与存储的大幅降低，我们的框架是一个完全链上FL系统，可在简单智能合约上实现，因而与区块链无关。我们通过实验测试了新框架并验证了其理论性质。
引用
@article{arxiv.2106.14265,
title = {Reward-Based 1-bit Compressed Federated Distillation on Blockchain},
author = {Leon Witt and Usama Zafar and KuoYeh Shen and Felix Sattler and Dan Li and Wojciech Samek},
journal= {arXiv preprint arXiv:2106.14265},
year = {2021}
}