Aero-World：基于惯性控制的动作条件航拍视频生成
计算机视觉与模式识别
2026-05-20 v1
摘要
基础视频模型能产生视觉上令人印象深刻的结果，但它们在具身人工智能中的应用仍然有限，因为它们主要基于自然语言而非低级控制信号进行训练。这一局限性在航拍飞行中尤为突出，因为其运动发生在无约束的六自由度空间中，自运动的微小误差都可能导致较大的轨迹漂移。生成遵循细粒度惯性动作的航拍视频，可以通过为真实世界或昂贵的仿真数据提供可控的替代，来支持航拍智能体的可扩展训练与评估。为解决此问题，我们提出了 Aero-World，一种将预训练的图像到视频扩散模型转换为可控航拍视频生成器的方法。Aero-World 通过动作令牌流将平移加速度和角速度序列注入预训练的潜在扩散 Transformer 中。一个冻结的潜在空间物理探针，基于真实视频-IMU 对独立训练，在 LoRA 微调期间提供可微分的惯性一致性监督，同时避免了计算昂贵的视频解码。我们进一步提出了 AeroBench，一个用于评估生成的无人机视频是否遵循低级动作信号的基准。AeroBench 使用动作对齐分数（AAS）来衡量与指令惯性动作的一致性，并使用物理一致性率（PCR）来衡量时间运动稳定性。在 AeroBench 上，Aero-World 将平均 AAS 从仅动作微调的 57.7 提升至 63.6，并提供了比 AirScape 更强的质量-控制权衡，具有更低的 FVD（596.5 对比 1058.6）、更高的 SSIM（0.595 对比 0.505）和更高的 Flow-IMU 相关性（0.44 对比 0.20）。这些结果表明，冻结的物理探针监督是一种实用的机制，可将预训练的视频生成器适应于更符合动作的航拍运动。
引用
@article{arxiv.2605.19728,
title = {Aero-World: Action-Conditioned Aerial Video Generation from Inertial Controls},
author = {Abdul Mohaimen Al Radi and Kunyang Li and Yuzhang Shang and Mubarak Shah and Yu Tian},
journal= {arXiv preprint arXiv:2605.19728},
year = {2026}
}