基于校正动态网格流的视频引导 3D 动画：R-DMesh

视频引导 3D 动画具有巨大的潜力，能够为内容创作提供直观且精确的动态资产控制。然而，实际部署面临一个关键且常被忽视的挑战：姿态错位困境。在现实场景中，用户提供的静态网格初始姿态很少与参考视频的起始帧对齐。强行让网格跟随不匹配的轨迹必然导致严重的几何畸变或动画失败。为解决此问题，我们提出了校正动态网格（R-DMesh，Rectified Dynamic Mesh），一个统一的框架，用于生成“校正”对齐视频语境的高保真 4D 网格。不同于标准的运动迁移方法，本方法引入了一种新的 VAE，显式解耦输入为条件基准网格、相对运动轨迹和一个关键校正跳跃偏移。该偏移通过学习自动将输入网格的任意姿态转换为匹配视频初始状态，使其在动画开始前实现对齐。我们通过三向流注意力机制处理这些组件，该机制利用顶点级几何特征来调制三个正交流，以确保校正和动画过程中的物理一致性和局部刚性。对于生成，我们采用基于校正流的扩散变换器，条件于预训练视频潜在表示，有效地将丰富的时空先验知识迁移到 3D 域。为支持此任务，我们构建了 Video-RDMesh 数据集，包含超过 50 万个动态网格序列，专为模拟姿态错位而精选。广泛的实验表明，R-DMesh 不仅解决了对齐问题，还能为姿态重新定位和整体 4D 生成等下游应用提供稳健的支持。