FLIP：面向通用操控任务的流动导向生成式规划
机器人学
2025-02-18 v2 人工智能
机器学习
摘要
我们致力于开发可随模型和数据预算增长的通用操控任务世界模型规划框架。为此，我们提出了流动导向生成式规划（FLIP），这是一种基于视觉空间的模型规划算法，包含三个关键模块：1. 多模态流生成模型作为通用动作提议模块；2. 基于流条件的视频生成模型作为动态模块；3. 视觉语言表示学习模型作为价值模块。给定初始图像和语言指令作为目标，FLIP 可逐步搜索最长时序流和视频计划，以实现最大折扣回报。FLIP 能够综合跨对象、机器人和任务的长时序计划，图像流作为通用动作表示，密集流信息也为长时序视频生成提供丰富指导。此外，综合的流和视频计划可指导低层控制策略的训练。实验表明，FLIP 能提高长时序视频计划合成的成功率和质量，具交互式世界模型特性，为未来工作开辟了更广阔的应用前景。视频演示请访问：\url{https://nus-lins-lab.github.io/flipweb/}。
引用
@article{arxiv.2412.08261,
title = {FLIP: Flow-Centric Generative Planning as General-Purpose Manipulation World Model},
author = {Chongkai Gao and Haozhuo Zhang and Zhixuan Xu and Zhehao Cai and Lin Shao},
journal= {arXiv preprint arXiv:2412.08261},
year = {2025}
}