SENSOR：通过主动传感模仿第三人称专家行为
机器人学
2024-04-05 v1 人工智能
机器学习
摘要
在许多真实世界的视觉模仿学习（Imitation Learning, IL）场景中，智能体与专家的视角之间存在不对齐，这可能导致模仿失败。以往的方法通常通过领域对齐来解决此问题，这会带来额外的计算和存储开销，且这些方法无法处理视角差距过大的困难情况。为了缓解上述问题，我们在视觉IL设定中引入主动传感，并提出基于模型的传感模仿器（SENSory imitatOR, SENSOR），以自动改变智能体的视角来匹配专家视角。SENSOR联合学习一个世界模型以捕捉潜在状态的动力学、一个传感器策略以控制相机，以及一个运动策略以控制智能体。在视觉运动任务上的实验表明，SENSOR能够高效模拟专家的视角与策略，并优于大多数基线方法。
引用
@article{arxiv.2404.03386,
title = {SENSOR: Imitate Third-Person Expert's Behaviors via Active Sensoring},
author = {Kaichen Huang and Minghao Shao and Shenghua Wan and Hai-Hang Sun and Shuai Feng and Le Gan and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2404.03386},
year = {2024}
}