抗掉队者的差分隐私去中心化学习
机器学习
2024-07-01 v3 密码学与安全
信息论
math.IT
摘要
我们考虑在逻辑环上进行的去中心化学习中的掉队者问题，同时保护用户数据隐私。特别地，我们将 Cyffers 和 Bellet 最近提出的通过去中心化实现差分隐私（DP）放大的框架扩展到包含总体训练延迟——包括计算延迟与通信延迟。针对跳过方案（在超时后忽略掉队者）以及等待每个节点完成再继续训练的基线方案，推导了关于收敛速度与 DP 水平的分析结果。由跳过方案超时参数化的总体训练延迟、准确率与隐私之间的权衡被确定，并在真实世界数据集上的逻辑回归以及使用 MNIST 和 CIFAR-10 数据集的图像分类上得到经验验证。
引用
@article{arxiv.2212.03080,
title = {Straggler-Resilient Differentially-Private Decentralized Learning},
author = {Yauhen Yakimenka and Chung-Wei Weng and Hsuan-Yin Lin and Eirik Rosnes and Jörg Kliewer},
journal= {arXiv preprint arXiv:2212.03080},
year = {2024}
}
备注
To appear in the IEEE Journal on Selected Areas in Information Theory (special issue on Information-Theoretic Methods for Trustworthy and Reliable Machine Learning)