Sketch2Motion: 基于扩散引导骨架优化的文本驱动二维草图到三维动画生成
计算机视觉与模式识别
2026-05-28 v1 图形学
摘要
二维手绘草图的动画化为视觉交流提供了一种有效媒介。然而，这些草图带来了挑战，特别是在处理遮挡和精确映射运动方面。虽然三维动画自然解决了这些挑战，但估计三维运动仍然是一项非常复杂的任务。近期将二维草图转换为三维动画的方法主要集中于特定类型的运动，例如双足运动和面部表情。我们提出了Sketch2Motion，一个用于基于骨架的运动合成的扩散引导框架，该框架将经典的角色动画管线与深度生成先验相结合。我们的方法使用骨架变换来表示运动，并通过线性混合蒙皮将其传播到网格变形。为了引导生成的动画朝向逼真且语义上有意义的运动，我们通过运动感知分数蒸馏采样（MoSDS）集成了一个文本到视频扩散模型，从而无需配对运动数据即可进行优化。此外，我们应用了受物理启发的平滑性、拓扑和接触约束来稳定优化并保持运动合理性。进一步地，我们集成了一个弹簧-质量模拟器以引入次级运动效果。所提出的框架具有通用性、完全可微、模块化，并兼容双足、四足和非生命铰接角色。实验表明，我们的方法生成了时间上连贯、与文本对齐的动画，其性能优于缺乏生成先验或显式物理约束的基线运动迁移方法。我们将公开我们的代码和数据集。
引用
@article{arxiv.2605.28394,
title = {Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization},
author = {Gaurav Rai and Ojaswa Sharma},
journal= {arXiv preprint arXiv:2605.28394},
year = {2026}
}