中文

MoVie:面向视角泛化的视觉基于模型策略自适应

机器学习 2023-09-28 v3 计算机视觉与模式识别 机器人学

摘要

在有限视角上训练的视觉强化学习(RL)智能体,在将其习得能力泛化到未见视角时面临重大挑战。这一固有困难被称为视角泛化(view generalization)问题。本工作中,我们将该基础问题系统地归类为四种不同且极具挑战性、贴近真实世界的场景。随后,我们提出一种简洁而有效的方法,在测试时实现视觉 Mo\textbf{Mo}del-based 策略对 Vie\textbf{Vie}w 泛化(MoVie\textbf{MoVie})的成功自适应,无需任何显式奖励信号且训练时无需任何修改。我们的方法在来自 DMControl、xArm 和 Adroit 的共 18\textbf{18} 个任务的所有四种场景中均展现出大幅进展,相对提升分别为 33\mathbf{33}%、86\mathbf{86}% 和 152\mathbf{152}%。优越的结果凸显了我们的方法在真实世界机器人应用中的巨大潜力。视频见 https://yangsizhe.github.io/MoVie/。

关键词

引用

@article{arxiv.2307.00972,
  title  = {MoVie: Visual Model-Based Policy Adaptation for View Generalization},
  author = {Sizhe Yang and Yanjie Ze and Huazhe Xu},
  journal= {arXiv preprint arXiv:2307.00972},
  year   = {2023}
}

备注

Accepted in NeurIPS 2023. The first two authors contribute equally