通过正则化状态占据匹配从观测与样例中进行通用离线模仿
机器学习
2022-06-22 v2 人工智能
摘要
我们提出状态匹配离线分布修正估计（SMODICE），一种通过状态占据匹配推导出的新颖且通用的基于回归的离线模仿学习（IL）算法。我们表明SMODICE目标函数允许通过Fenchel对偶性的应用以及在表格MDP中的解析解进行简单优化。无需专家动作访问，SMODICE可有效应用于三种离线IL设置：（i）从观测模仿（IfO），（ii）具有动力学或形态不匹配专家的IfO，以及（iii）基于样例的强化学习，我们表明其可表述为状态占据匹配问题。我们在网格世界环境以及高维离线基准上广泛评估SMODICE。我们的结果表明SMODICE对所有三种问题设置均有效，并显著优于先前的最先进方法。
引用
@article{arxiv.2202.02433,
title = {Versatile Offline Imitation from Observations and Examples via Regularized State-Occupancy Matching},
author = {Yecheng Jason Ma and Andrew Shen and Dinesh Jayaraman and Osbert Bastani},
journal= {arXiv preprint arXiv:2202.02433},
year = {2022}
}
备注
ICML 2022. Project website: https://sites.google.com/view/smodice/home