RoboTransfer：面向操作策略迁移的几何一致性可控视频扩散
计算机视觉与模式识别
2026-01-07 v2
摘要
通用机器人的目标是为智能体创造能够无缝适应并在多样化、非结构化的人类环境中运行的能力。模仿学习已成为机器人操作的关键范式，但收集大规模且多样化的演示数据成本极其高昂。仿真器提供了一种高性价比的替代方案，但 sim-to-real 鸿沟仍是可扩展性的主要障碍。我们提出了 RoboTransfer，一个用于合成机器人数据的基于扩散模型的视频生成框架。通过利用跨视图特征交互和全局一致的 3D 几何，RoboTransfer 确保了多视图几何一致性，同时能够对场景元素（如背景编辑和物体替换）进行细粒度控制。大量实验表明，RoboTransfer 生成的视频具有出色的几何一致性和视觉保真度。此外，在此合成数据上训练的策略增强了对未见新场景的泛化能力。项目页面：https://horizonrobotics.github.io/robot_lab/robotransfer。
引用
@article{arxiv.2505.23171,
title = {RoboTransfer: Controllable Geometry-Consistent Video Diffusion for Manipulation Policy Transfer},
author = {Liu Liu and Xiaofeng Wang and Guosheng Zhao and Keyu Li and Wenkang Qin and Jiagang Zhu and Jiaxiong Qiu and Zheng Zhu and Guan Huang and Zhizhong Su},
journal= {arXiv preprint arXiv:2505.23171},
year = {2026}
}
备注
20 pages, 15 figures