通过欺骗保护 MDP 中奖励函数的隐私

在决策可观察的情况下，保护顺序决策代理的偏好（或奖励）隐私在许多物理和网络安全领域都至关重要。例如，在野生动物监测中，代理必须在不透露动物位置给猎 poacher 的情况下分配巡逻资源。本文关注 MDP 中的规划隐私保护，其中奖励函数代表需受保护的偏好结构。观察者可通过逆强化学习（IRL）学习这些偏好，这使得该任务具有挑战性。当前在奖励函数上进行差分隐私的研究无法确保对最小预期奖励的保证，且提供的理论保证在基于 IRL 的观察者面前不足以应对。为弥合这一差距，我们提出一种新方法，基于欺骗理论。欺骗包括两种模型：隐瞒真相（dissimulation）和展示错误（simulation）。我们的第一项贡献在理论上显著证明了现有基于隐瞒的 dissimulation 方法中的隐私泄漏。我们的第二项贡献是一种新的基于 RL 的规划算法，该算法利用 simulation 有效地解决这些隐私问题，同时确保对预期奖励的保证。多个基准问题上的实验表明，我们的方法在保护奖励函数隐私方面优于先前方法。