Imagine2Servo：基于扩散驱动的目标生成用于机器人任务的智能视觉servo
机器人学
2024-12-10 v2
摘要
视觉servo是通过视觉传感器反馈控制机器人运动的方法，尽管已取得显著进展，但其应用受限于目标图像需在测试时提供、初始与目标图像需显著重叠，以及依赖单摄像头反馈等固有挑战。本文引入 Imagine2Servo 方法，利用扩散式图像编辑技术生成中间目标图像，从而增强视觉servo算法。该方法使视觉servo应用超越传统限制，实现长程导航与操作等任务，无需预定义目标图像。我们提出的管道基于任务需求合成子目标图像，实现在初始与目标图像重叠度极低、集成多摄像头反馈的 servo 控制。实验结果表明，Imagine2Servo 在多种实际任务中均表现出色，显著拓展了视觉servo系统的能力。
引用
@article{arxiv.2410.12432,
title = {Imagine2Servo: Intelligent Visual Servoing with Diffusion-Driven Goal Generation for Robotic Tasks},
author = {Pranjali Pathre and Gunjan Gupta and M. Nomaan Qureshi and Mandyam Brunda and Samarth Brahmbhatt and K. Madhava Krishna},
journal= {arXiv preprint arXiv:2410.12432},
year = {2024}
}
备注
Published at 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)