NoPeek：在分布式深度学习中共享激活时降低信息泄露
机器学习
2020-08-24 v1 分布式、并行与集群计算
机器学习
摘要
针对涉及敏感数据的分布式机器学习，我们展示了如何通过最小化原始数据与中间表示之间的距离相关性，在保持模型精度的同时，降低跨客户端通信中敏感原始数据模式的泄露。泄露（使用输入与中间表示之间的距离相关性度量）是指可从中间表示反推原始数据所带来的风险。这会阻碍持有敏感数据的客户端实体使用分布式深度学习服务。我们证明，我们的方法对此类重构攻击具有鲁棒性，并且基于对图像数据集在训练与推理期间原始数据与所学表示之间距离相关性的降低。我们在保持维持良好分类精度所需信息的同时，阻止了此类原始数据的重构。
引用
@article{arxiv.2008.09161,
title = {NoPeek: Information leakage reduction to share activations in distributed deep learning},
author = {Praneeth Vepakomma and Abhishek Singh and Otkrist Gupta and Ramesh Raskar},
journal= {arXiv preprint arXiv:2008.09161},
year = {2020}
}