MotionScape：面向世界模型的大规模真实高动态 UAV 视频数据集
计算机视觉与模式识别
2026-04-10 v1 多媒体
摘要
世界模型的最新进展已在模拟物理现实方面展现出强大能力，成为具身智能日益重要的基础。对于 UAV 智能体而言，准确预测复杂 3D 动力学对在不受约束环境中实现自主导航和稳健决策至关重要。然而，在典型 UAV 视角下高度动态的相机轨迹下，现有世界模型常难以维持时空物理一致性。关键原因在于当前训练数据的分布偏差：大多数现有数据集呈现受限的 2.5D 动作模式，如地面受约束的自动驾驶场景或相对平滑的人类中心的第三人称视角视频，因而缺乏真实的高动态 6 自由度 UAV 动作先验。为此，我们提出 MotionScape，一个用于世界建模的大规模真实 UAV 视图视频数据集，具备高度动态运动。MotionScape 包含超过 30 小时的 4K UAV 视图视频，总计超过 450 万帧。该新数据集特点是语义与几何对齐的训练样本，其中多样化的真实世界 UAV 视频与准确的 6 自由度相机轨迹和细粒度自然语言描述紧密耦合。为构建该数据集，我们开发了一种自动化的多阶段处理管道，集成了基于 CLIP 的相关性过滤、时间分段、稳健的视觉 SLAM 轨迹恢复以及大语言模型驱动的语义标注。广泛实验表明，纳入此类语义与几何对齐标注有效提升了现有世界模型在模拟复杂 3D 动力学和处理大范围视角变换方面的能力，从而有益于 UAV 智能体在复杂环境中的决策与规划。该数据集已公开于 https://github.com/Thelegendzz/MotionScape
引用
@article{arxiv.2604.07991,
title = {MotionScape: A Large-Scale Real-World Highly Dynamic UAV Video Dataset for World Models},
author = {Zile Guo and Zhan Chen and Enze Zhu and Kan Wei and Yongkang Zou and Xiaoxuan Liu and Lei Wang},
journal= {arXiv preprint arXiv:2604.07991},
year = {2026}
}