逆-逆强化学习：如何对对抗性逆强化学习者隐藏策略
机器学习
2022-05-24 v1 信号处理
摘要
逆强化学习（IRL）致力于从智能体的动作中估计其效用函数。本文考虑智能体如何隐藏其策略并缓解对抗性 IRL 攻击；我们称之为逆 IRL（I-IRL）。决策者应如何选择其响应，以确保执行 IRL 以估计该智能体策略的对手对其策略的重构很差？本文包含四个结果：第一，我们提出一种对抗性 IRL 算法，其在控制智能体效用函数的同时估计智能体的策略。我们的第二个 I-IRL 结果 spoof 了对手所使用的 IRL 算法。我们的 I-IRL 结果基于微观经济学中的显示偏好理论。其核心思想是智能体刻意选择次优响应，以充分掩盖其真实策略。第三，当智能体对对手指定的效用函数有噪声估计时，我们给出了主要 I-IRL 结果的样本复杂度结果。最后，我们在一个雷达问题中展示了我们的 I-IRL 方案，其中元认知雷达试图缓解对抗性目标。
引用
@article{arxiv.2205.10802,
title = {Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner},
author = {Kunal Pattanayak and Vikram Krishnamurthy and Christopher Berry},
journal= {arXiv preprint arXiv:2205.10802},
year = {2022}
}