Sketch2Anim：将草图情节分镜转化为3D动画

情节分板在创建3D动画中广泛使用。动画师会将情节分板中的2D草图作为参考，通过反复尝试制作所需的3D动画。传统方法需要非凡的专业知识，既费时又费力。因此，对能够直接将2D情节分板草图转化为3D动画的自动化方法迫切需求。尽管该任务在目前仍属未被充分探索的领域，但受到运动扩散模型显著进步的启发，我们提出从条件运动合成的角度来解决它。因此，我们提出了Sketch2Anim，其由两个关键模块组成，用于草图约束理解和运动生成。具体而言，由于2D草图与3D运动之间的巨大领域差距，我们并未直接以2D输入为条件，而是设计了一个3D条件运动生成器，同时利用3D关键姿态、关节轨迹和动作词汇，以实现精确且细粒度的运动控制。然后，我们发明了一个神经映射器，专用于将用户提供的2D草图与其对应的3D关键姿态和轨迹在共享嵌入空间中对齐，实现了对运动生成的直接2D控制。我们的方法成功地将情节分板转化为高质量的3D运动，并凭借多条件运动生成器的灵活性，天然支持直接的3D动画编辑。综合的实验和评估，以及用户感知研究，证明了我们方法的有效性。