基于异构掩码自回归学习真实世界动作-视频动态
机器人学
2025-02-07 v1 计算机视觉与模式识别
机器学习
摘要
我们提出异构掩码自回归（HMA）用于建模动作-视频动态，以生成高质量数据并评估规模化机器人学习。构建交互式视频世界模型和机器人策略面临挑战，因为需要处理多样化设置，同时保持计算效率以实时运行。HMA 利用来自不同机器人形态、领域和任务的观测与动作序列进行异构预训练。HMA 使用掩码自回归生成量化或软令牌用于视频预测。与之前的机器人视频生成模型相比，HMA 在真实世界中实现了更好的视觉保真度和可控性，且速度提升 15 倍。经过后训练，该模型可用作基于低级动作输入的视频模拟器，用于评估策略和生成合成数据。更多信息请参见此链接 https://liruiw.github.io/hma。
引用
@article{arxiv.2502.04296,
title = {Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression},
author = {Lirui Wang and Kevin Zhao and Chaoqi Liu and Xinlei Chen},
journal= {arXiv preprint arXiv:2502.04296},
year = {2025}
}
备注
Website: https://liruiw.github.io/hma/