隐私保护随机渐进学习
密码学与安全
2018-10-02 v1 机器学习
机器学习
摘要
随机优化安全处理大规模敏感数据具有挑战性。近来，Duchi 等人提出了私有采样策略以解决随机优化中的隐私泄露问题。然而，该策略导致鲁棒性退化，因其等价于在每个梯度上注入噪声，从而对原始变量的更新产生不利影响。为应对此挑战，我们在本地隐私框架下引入了一种鲁棒随机优化，称为隐私保护随机渐进学习（PRESTIGE）。PRESTIGE 将原始变量的私有更新（通过私有采样）与渐进课程学习（CL）相桥接。具体而言，噪声注入导致标签噪声问题，而 CL 的鲁棒学习过程可对抗标签噪声。因此，PRESTIGE 在私有课程（即 CL 提供的重排标签序列）上产生“私有但鲁棒”的原始变量更新。理论上，我们揭示了 PRESTIGE 的收敛速率与最大复杂度。在六个数据集上的实证结果表明，PRESTIGE 在隐私保护与鲁棒性之间取得了优于基线的良好权衡。
引用
@article{arxiv.1810.00383,
title = {Privacy-preserving Stochastic Gradual Learning},
author = {Bo Han and Ivor W. Tsang and Xiaokui Xiao and Ling Chen and Sai-fu Fung and Celina P. Yu},
journal= {arXiv preprint arXiv:1810.00383},
year = {2018}
}