Sketch2PoseNet: 高效且通用的草图到 3D 人体姿态预测

从草图估计 3D 人体姿态在计算机动画和电影制作中具有广泛的应用前景。与传统人体姿态估计不同，此任务因草图的抽象性和不比例性而呈现独特挑战。以往的草图到姿态方法由于缺乏大规模草图-3D 姿态标注数据，主要依赖基于启发式规则的优化方法——这种方法既耗时又受限于泛化能力。为此，我们提出了一种新方法，利用“学习自合成”策略。首先，训练扩散模型，从 3D 人体姿态投影到的 2D 人体姿态合成草图图像，模拟草图中不比例的人体结构。这一过程使我们能够创建由 120k 条准确草图-3D 姿态标注对组成的合成数据集 SKEP-120K，覆盖各种草图风格。基于此合成数据集，我们引入了一个端到端的数据驱动框架，用于从多样化的草图风格中估计人体姿态和形状。我们的框架将现有的 2D 姿态检测器和生成式扩散先验用于草图特征提取，同时结合前馈神经网络进行高效 2D 姿态估计。我们整合了多个启发式损失函数，以保证从检测到的 2D 姿态推导出的 3D 姿态与 2D 姿态之间的几何一致性，同时保持准确的自接触。定性、定量和主观评估共同表明，我们的模型在草图到姿态任务的估计精度和速度方面显著优于以往方法。