逆约束强化学习综合调查：定义、进展与挑战
机器学习
2025-02-04 v3 人工智能
摘要
逆约束强化学习（ICRL）是基于专家示范数据推断其隐式约束的任务。作为一个新兴研究主题，ICRL近年来受到广泛关注。本文呈现了ICRL最新进展的分类调查。它为机器学习研究者和实践者以及希望理解ICRL中定义、进展和重要挑战的初学者提供了全面参考。我们首先正式定义该问题，概述促进不同情景下约束推断的算法框架，包括确定性或随机环境、示范数据有限的环境以及多智能体环境。在每种情境中，我们说明关键挑战，介绍一系列基本方法来解决这些问题。本次调查涵盖用于评估ICRL代理人的离散、虚拟和真实环境。我们还深入探讨了ICRL的最 pertinent applications，包括自动驾驶、机器人控制和体育分析。为了激发持续的研究，我们以讨论ICRL中关键未解决问题结束，这些问题可以有效地搭建理论理解与实际工业应用之间的桥梁。本调查中引用的论文可在 https://github.com/Jasonxu1225/Awesome-Constraint-Inference-in-RL 上找到。
引用
@article{arxiv.2409.07569,
title = {A Comprehensive Survey on Inverse Constrained Reinforcement Learning: Definitions, Progress and Challenges},
author = {Guiliang Liu and Sheng Xu and Shicheng Liu and Ashish Gaurav and Sriram Ganapathi Subramanian and Pascal Poupart},
journal= {arXiv preprint arXiv:2409.07569},
year = {2025}
}
备注
36 pages