RoboSwap：基于 GAN 的视频扩散框架用于无监督机器人手臂替换
计算机视觉与模式识别
2025-10-14 v2
摘要
生成模型的最新进展彻底革新了视频合成与编辑。然而，多样化、高质量数据集的匮乏持续阻碍视频条件机器人学习，限制了跨平台泛化能力。本工作中，我们解决了一个关键问题：将一段视频中的机器人手臂替换为另一段视频中的机器人手臂——这是跨具身学习的关键步骤。与以往依赖同一环境设置中配对视频演示的方法不同，我们提出的 RoboSwap 框架在来自多样化环境的非配对数据上运行，从而缓解了数据采集需求。RoboSwap 引入了一种新颖的视频编辑流水线，整合了 GAN 和扩散模型的优势。具体而言，我们从背景中分割出机器人手臂，并训练一个非配对 GAN 模型将一个机器人手臂转换为另一个。转换后的手臂与原始视频背景融合，并通过扩散模型进行优化，以增强连贯性、运动真实感和物体交互。GAN 和扩散阶段分别独立训练。我们的实验表明，RoboSwap 在三个基准测试上优于最先进的视频和图像编辑模型，在结构一致性和运动一致性方面均表现优异，从而为机器人学习生成可靠的跨具身数据提供了一种稳健的解决方案。
引用
@article{arxiv.2506.08632,
title = {RoboSwap: A GAN-driven Video Diffusion Framework For Unsupervised Robot Arm Swapping},
author = {Yang Bai and Liudi Yang and George Eskandar and Fengyi Shen and Dong Chen and Mohammad Altillawi and Ziyuan Liu and Gitta Kutyniok},
journal= {arXiv preprint arXiv:2506.08632},
year = {2025}
}