基于隐私感知学习器的隐私保护启动深度强化学习
机器学习
2021-06-08 v2 人工智能
密码学与安全
摘要
启动深度强化学习算法在智能体间促成师生关系，并允许表现良好的教师与学生共享演示以加速学生的训练。然而，尽管已知有益，这些演示可能包含有关教师训练数据的敏感信息，且现有启动方法未采取任何措施加以保护。因此，我们利用差分隐私框架开发了一种机制，安全地与学生共享教师的演示。该机制允许教师根据其消耗的隐私预算决定演示的精度，从而赋予教师对其数据隐私的完全控制。随后我们为学生开发了具备隐私感知的启动深度强化学习算法，因其目标函数根据教师隐私机制的参数进行了校准。算法的隐私感知设计使得尽管存在隐私机制引入的扰动，仍能启动学生的学习。数值实验凸显了三个经验结果：（i）算法成功加速了学生的学习，（ii）学生收敛到若无演示则无法达到的性能水平，以及（iii）即使在教师因隐私预算限制停止共享有用演示后，学生仍保持其增强的性能。
引用
@article{arxiv.2102.09599,
title = {Privacy-Preserving Kickstarting Deep Reinforcement Learning with Privacy-Aware Learners},
author = {Parham Gohari and Bo Chen and Bo Wu and Matthew Hale and Ufuk Topcu},
journal= {arXiv preprint arXiv:2102.09599},
year = {2021}
}
备注
Under double-blind review