利用对抗策略集成防止模仿学习
机器学习
2020-08-04 v2 人工智能
机器学习
摘要
模仿学习可通过观察专家来复现策略，这引发了策略隐私方面的问题。人类策略或已部署机器人上的策略都可在未经所有者同意的情况下被克隆。我们如何防范外部观察者克隆我们的专有策略？为回答此问题，我们引入了一种新的强化学习框架，其中训练一组近最优策略，其演示对外部观察者保证无用。我们将此思想表述为一个约束优化问题，其目标是改进专有策略，同时恶化潜在外部观察者的虚拟策略。我们设计了一种可处理的算法，通过修改标准策略梯度算法来求解这一新优化问题。我们的表述可从保密性与对抗行为的视角加以解读，从而为此工作提供更广阔的视野。我们证明了“不可克隆”集成的存在性，给出了上述优化问题的解，该解由我们修改后的策略梯度算法算出。据我们所知，这是关于强化学习中策略保护的首项工作。
引用
@article{arxiv.2002.01059,
title = {Preventing Imitation Learning with Adversarial Policy Ensembles},
author = {Albert Zhan and Stas Tiomkin and Pieter Abbeel},
journal= {arXiv preprint arXiv:2002.01059},
year = {2020}
}