Cronus：基于黑盒知识迁移的鲁棒异构协同学习
机器学习
2019-12-25 v1 密码学与安全
机器学习
摘要
协同（联邦）学习使多方能够在不共享其私有数据的情况下训练模型，而是通过反复共享其本地模型的参数。尽管有其优势，该方法除仅限于具有同构架构的模型外，还存在许多已知的隐私与安全弱点以及性能开销。共享参数会泄露关于本地（且理应私有的）数据集的大量信息。此外，联邦学习极易受到投毒攻击，其中某些参与者可对抗性地影响聚合参数。具有高维参数向量的大型模型尤其极易受到隐私与安全攻击：联邦学习中的维度灾难。我们认为，共享参数是协同学习中最朴素的信息交换方式，因为它们将模型的所有内部状态暴露给推理攻击，并最大化模型被隐蔽投毒攻击篡改的可能性。我们提出 Cronus，一个鲁棒的协同机器学习框架。设计 Cronus 背后简单而有效的思想是通过其黑盒本地模型之间的鲁棒知识迁移，控制、统一并显著减少各方之间交换信息的维度。我们针对投毒攻击评估了所有现有的联邦学习算法，并表明由于其严格的鲁棒性保证，Cronus 是唯一安全的方法。将本地模型视为黑盒，减少了通过模型的信息泄露，并使我们能够使用现有的隐私保护算法来降低通过模型输出（预测）泄露信息的风险。与联邦学习相比，Cronus 还具有显著更低的样本复杂度，且其安全性不依赖于参与者数量。
引用
@article{arxiv.1912.11279,
title = {Cronus: Robust and Heterogeneous Collaborative Learning with Black-Box Knowledge Transfer},
author = {Hongyan Chang and Virat Shejwalkar and Reza Shokri and Amir Houmansadr},
journal= {arXiv preprint arXiv:1912.11279},
year = {2019}
}