从视频中学习识别强化学习的关键状态
计算机视觉与模式识别
2023-08-16 v1 人工智能
摘要
近期关于深度强化学习（DRL）的研究指出，可以从缺乏显式执行动作信息的离线数据中提取关于优良策略的算法信息。例如，人类或机器人的视频可能传达大量关于有回报动作序列的隐含信息，但想要从观看此类视频中获益的DRL机器必须首先自行学习识别和辨认相关状态/动作/奖励。在不依赖真值标注的情况下，我们称为深度状态识别器（Deep State Identifier）的新方法学习从编码为视频的回合中预测回报。随后它使用一种基于掩码敏感性分析的方法来提取/识别重要的关键状态。大量实验展示了我们的方法在理解和改进智能体行为方面的潜力。源代码与生成的数据集可在 https://github.com/AI-Initiative-KAUST/VideoRLCS 获取。
引用
@article{arxiv.2308.07795,
title = {Learning to Identify Critical States for Reinforcement Learning from Videos},
author = {Haozhe Liu and Mingchen Zhuge and Bing Li and Yuhui Wang and Francesco Faccio and Bernard Ghanem and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2308.07795},
year = {2023}
}
备注
This paper was accepted to ICCV23