联邦与差分隐私学习中的学习率自适应
机器学习
2020-08-28 v3 密码学与安全
机器学习
摘要
我们提出了一种用于随机梯度下降（SGD）学习率自适应的算法，避免了使用验证集的需要。自适应思想源于外推技术：为估计 SGD 底层梯度流的误差，我们比较一步整步与两步半步所得结果。该算法应用于两个独立框架：联邦学习与差分隐私学习。以深度神经网络为例，我们通过实验表明该自适应算法在差分隐私训练中与手动调参的常用优化方法具有竞争力。我们还表明，与常用优化方法不同，它在联邦学习情形下也能稳健工作。
引用
@article{arxiv.1809.03832,
title = {Learning Rate Adaptation for Federated and Differentially Private Learning},
author = {Antti Koskela and Antti Honkela},
journal= {arXiv preprint arXiv:1809.03832},
year = {2020}
}
备注
17 pages, 9 figures