基于组合学习的视觉 POMDP 规划
人工智能
2022-12-06 v2 机器学习
机器人学
系统与控制
系统与控制
摘要
部分可观测马尔可夫决策过程（POMDP）是刻画涉及状态与转移不确定性的决策问题的有力框架。然而，当前大多数 POMDP 规划器无法有效处理真实世界应用中普遍存在的高维图像观测，且常需要与环境交互的冗长在线训练。本工作中，我们提出视觉树搜索（VTS），一种将离线学习的生成模型与在线基于模型的 POMDP 规划相结合的组合学习与规划方法。深度生成观测模型在蒙特卡洛树搜索规划器中评估图像观测的似然并预测未来图像观测。我们表明 VTS 对训练时未出现的各类图像噪声具有鲁棒性，且能适应不同奖励结构而无需重新训练。这一新方法在使用极少训练时间的同时，显著且稳定地优于多种基线最先进视觉 POMDP 算法。
引用
@article{arxiv.2112.09456,
title = {Compositional Learning-based Planning for Vision POMDPs},
author = {Sampada Deglurkar and Michael H. Lim and Johnathan Tucker and Zachary N. Sunberg and Aleksandra Faust and Claire J. Tomlin},
journal= {arXiv preprint arXiv:2112.09456},
year = {2022}
}