论诱导局部 Lipschitz 性对鲁棒生成对抗模仿学习的益处
机器学习
2024-01-17 v3
摘要
我们探索改进生成对抗模仿学习（GAIL）算法对观测噪声鲁棒性的方法。为此，我们研究了判别器和生成器的局部 Lipschitz 性对 GAIL 所学策略鲁棒性的影响。在许多机器人应用中，GAIL 学到的策略在测试时通常性能下降，因为来自环境的观测可能受噪声污染。因此，使所学策略对观测噪声具有鲁棒性至关重要。为此，我们提出一种正则化方法，在对抗模仿学习方法的生成器和判别器中诱导局部 Lipschitz 性。我们表明，修改后的目标导致学习到显著更鲁棒的策略。此外，我们从理论和实验上证明，训练局部 Lipschitz 判别器会得到局部 Lipschitz 生成器，从而提升所得策略的鲁棒性。我们在 MuJoCo 套件的模拟机器人运动环境中进行了大量实验，表明所提方法学到的策略在带有噪声污染观测的测试场景中显著优于最先进的生成对抗模仿学习算法。
引用
@article{arxiv.2107.00116,
title = {On the Benefits of Inducing Local Lipschitzness for Robust Generative Adversarial Imitation Learning},
author = {Farzan Memarian and Abolfazl Hashemi and Scott Niekum and Ufuk Topcu},
journal= {arXiv preprint arXiv:2107.00116},
year = {2024}
}