SketchBodyNet：一种用于三维人体重建的草图驱动多分支解码器网络

从二维图像重建三维人体形状因对许多高级三维应用的基础支撑作用而近期受到越来越多的关注。与自然图像相比，手绘草图在描绘各种形状上灵活得多，为三维人体重建提供了一种高潜力且有价值的方式。然而，该任务极具挑战性。草图的稀疏抽象特性给本就严重不适定的二维到三维重建问题增添了巨大困难，如任意性、不准确性以及缺乏图像细节。尽管现有方法在从单视图图像重建三维人体上已取得巨大成功，它们在手绘草图上表现不佳。本文中，我们提出一种称为SketchBodyNet的新型草图驱动多分支解码器网络来解决此任务。具体而言，该网络由一个主干和三个独立注意力解码分支组成，其中每个解码器利用多头自注意力模块获取增强特征，随后接多层感知机。多分支解码器分别旨在预测相机、形状和姿态参数，这些参数随后与SMPL模型关联以重建相应的三维人体网格。在学习中，现有三维网格通过相机参数投影为带关节的二维合成草图，并与手绘草图结合以优化模型。为验证我们的方法，我们收集了一个大规模数据集，包含约26k张手绘草图及其对应的三维网格，涵盖14个不同角度下人体的多种姿态。大量实验结果表明，我们的SketchBodyNet在从手绘草图重建三维人体网格上取得了优越性能。