在想象之地中学习：通过三维生成模型的全向策略(OP-Gen)
机器人学
2025-09-09 v1 计算机视觉与模式识别
机器学习
摘要
近期能够仅从少量图像生成完整物体形状的三维生成模型，为机器人学开辟了新的机遇。在本工作中，我们展示了三维生成模型可用于从单次真实世界演示中扩充数据集，随后在该想象数据集中学习全向策略。我们发现这使得机器人能够在初始化状态与演示期间观测到的状态相差很远时执行任务，包括从相对于真实世界演示的物体另一侧开始，显著减少了策略学习所需的演示次数。通过在抓取物体、打开抽屉和将垃圾放入垃圾桶等任务中的多次真实世界实验，我们研究了这些全向策略，探讨了各种设计选择对策略行为的影响，并展示了优于近期使用替代方法进行数据扩充的基线模型的性能。
引用
@article{arxiv.2509.06191,
title = {Learning in ImaginationLand: Omnidirectional Policies through 3D Generative Models (OP-Gen)},
author = {Yifei Ren and Edward Johns},
journal= {arXiv preprint arXiv:2509.06191},
year = {2025}
}
备注
Project webpage with robot videos: https://www.robot-learning.uk/op-gen