SEDML：安全且高效地利用机器学习中的分布式知识
密码学与安全
2021-10-27 v1
摘要
训练高性能深度学习模型需要大量丰富数据，而实践中这些数据通常分布于多个数据源。简单地集中这些多源数据进行训练会引发严重的安全与隐私问题，并且鉴于日益严格的数据法规，可能不被允许。为化解分布式学习中隐私与数据利用之间的张力，近期提出了一种称为教师集成隐私聚合（PATE）的机器学习框架。PATE 利用来自分布式教师模型的知识（针对无标签数据集的标签预测）来训练学生模型，从而免去对分布式数据集的访问。尽管颇具吸引力，PATE 并未对教师模型的个体标签预测提供保护，这仍带来隐私风险。本文中，我们提出 SEDML，一种可安全且高效利用机器学习中分布式知识的新协议。SEDML 基于轻量级密码学构建，对个体标签预测提供强保护，并对聚合结果给出差分隐私保证。大量评估表明，在提供隐私保护的同时，SEDML 保持了与明文基线相同的准确率。同时，SEDML 在计算与通信上的性能分别为最新技术的 43 倍与 1.23 倍。
引用
@article{arxiv.2110.13499,
title = {SEDML: Securely and Efficiently Harnessing Distributed Knowledge in Machine Learning},
author = {Yansong Gao and Qun Li and Yifeng Zheng and Guohong Wang and Jiannan Wei and Mang Su},
journal= {arXiv preprint arXiv:2110.13499},
year = {2021}
}