存在遮挡与观测者噪声时逆强化学习中的边缘MAP估计
机器人学
2021-09-17 v1 人工智能
计算机视觉与模式识别
摘要
我们考虑从含噪声且部分可观测的演示中学习执行某任务的专家行为偏好这一问题。其动机源于现实应用，例如产线机器人通过观察人类工人学习，其中某些观测被无法移除的环境物体遮挡。此外，机器人感知往往不完美且含噪声。先前的逆强化学习（IRL）技术采取的方法要么忽略缺失部分，要么将其作为期望最大化的一部分进行推断，这往往速度慢且易陷入局部最优。我们提出一种新方法，通过对轨迹中被遮挡部分进行边缘化，推广了著名的贝叶斯最大后验（MAP）IRL方法。此外还扩展了观测模型以考虑感知噪声。我们表明，在一个玩具问题的形成性评估以及机器人在洋葱分拣产线任务上的总结性评估中，边缘MAP（MMAP）方法在遮挡条件下显著优于先前的IRL技术。
引用
@article{arxiv.2109.07788,
title = {Marginal MAP Estimation for Inverse RL under Occlusion with Observer Noise},
author = {Prasanth Sengadu Suresh and Prashant Doshi},
journal= {arXiv preprint arXiv:2109.07788},
year = {2021}
}