ROSO：通过合成观测改进机器人策略推理
机器人学
2023-11-30 v2 人工智能
摘要
本文提出在推理过程中通过改变观测来利用生成式人工智能（AI）提升预训练策略的零样本性能。由先进神经网络驱动的现代化机器人系统已在预训练任务上展现出卓越能力。然而，泛化并适应新物体与新环境具有挑战性，且微调视觉运动策略耗时较长。为克服这些问题，我们提出通过合成观测的机器人策略推理（ROSO）。ROSO 在推理时使用稳定扩散对机器人所观测的新物体进行预处理，使其符合预训练策略的观测分布。这一新颖范式使我们能将已学知识从已知任务迁移至此前未见过的场景，无需冗长微调即可增强机器人适应性。实验表明，将生成式 AI 引入机器人推理显著提升了任务成功率，可完成多达 57% 预训练策略原本失败的任务。
引用
@article{arxiv.2311.16680,
title = {ROSO: Improving Robotic Policy Inference via Synthetic Observations},
author = {Yusuke Miyashita and Dimitris Gahtidis and Colin La and Jeremy Rabinowicz and Jurgen Leitner},
journal= {arXiv preprint arXiv:2311.16680},
year = {2023}
}
备注
ACRA 2023 Oral