你的行为泄露诸多信息：深度强化学习中的隐私泄露攻击
机器学习
2019-04-26 v1 机器学习
摘要
机器学习已广泛应用于各种应用，其中一些涉及使用隐私敏感数据训练。已有少量数据泄露研究，包括自然语言数据中的信用卡信息和人脸数据集中的身份。然而，这些研究大多聚焦于监督学习模型。由于深度强化学习（DRL）已部署于若干真实世界系统，如室内机器人导航，训练好的 DRL 策略是否会泄露隐私信息需要深入研究。为普遍探索此类隐私泄露，我们主要提出两种方法：基于遗传算法的环境动力学搜索和基于影子策略的候选推断。我们进行了大量实验，以证明 DRL 在各种设置下的此类隐私漏洞。我们利用所提算法从一些训练好的具有 LiDAR 感知的 Grid World 导航 DRL 智能体中推断平面图。所提算法能正确推断大多数平面图，使用策略梯度训练的智能体达到了 95.83% 的平均恢复率。此外，我们能够在连续控制环境和自动驾驶模拟器中以高精度恢复机器人配置。据我们所知，这是首个研究 DRL 设置中隐私泄露的工作，并且我们表明基于 DRL 的智能体确实可能从训练好的策略中泄露隐私敏感信息。
引用
@article{arxiv.1904.11082,
title = {How You Act Tells a Lot: Privacy-Leakage Attack on Deep Reinforcement Learning},
author = {Xinlei Pan and Weiyao Wang and Xiaoshuai Zhang and Bo Li and Jinfeng Yi and Dawn Song},
journal= {arXiv preprint arXiv:1904.11082},
year = {2019}
}
备注
The first three authors contributed equally. Accepted by AAMAS 2019