HyperMotionX：包含基于 DiT 的姿态引导复杂运动人体图像动画的数据集与基准
计算机视觉与模式识别
2026-03-19 v2
摘要
扩散模型的最新进展显著改善了条件视频生成，特别是在姿态引导的人体图像动画任务中。尽管现有方法能够在常规运动和静态场景中生成高保真且时间一致的动画序列，但在面对包含高度动态、非标准运动的复杂人体运动时仍存在明显局限性，且缺乏用于评估复杂人体运动动画的高质量基准。为了应对这一挑战，我们提出一个简洁而强大的基于 DiT 的人体动画生成基线，并设计了空间低频增强 RoPE，这是一种通过引入可学习频率缩放来选择性增强低频空间特征建模的新模块。此外，我们引入了 Open-HyperMotionX 数据集和 HyperMotionX Bench，它们提供高质量的人体姿态标注和精选视频片段，用于在复杂人体运动条件下评估和改进姿态引导的人体图像动画模型。我们的方法显著提高了高度动态人体运动序列中的结构稳定性和外观一致性。大量实验证明了我们的数据集和所提方法在提升复杂人体运动图像动画生成质量方面的有效性。代码、模型权重和数据集已在 https://vivocameraresearch.github.io/hypermotion/ 公开发布。
引用
@article{arxiv.2505.22977,
title = {HyperMotionX: The Dataset and Benchmark with DiT-Based Pose-Guided Human Image Animation of Complex Motions},
author = {Shuolin Xu and Siming Zheng and Ziyi Wang and HC Yu and Jinwei Chen and Huaqi Zhang and Daquan Zhou and Tong-Yee Lee and Bo Li and Peng-Tao Jiang},
journal= {arXiv preprint arXiv:2505.22977},
year = {2026}
}
备注
17 pages, 7 figures