基于神经缝纫机的结构保持三维服装建模

三维服装建模是计算机视觉与图形学领域中一个关键且具有挑战性的课题，随着对服装表示学习、服装重建以及可控服装操控的关注日益增加，现有方法受限于对特定类别或相对简单拓扑结构下服装的建模。本文提出一种新颖的基于学习的框架——神经缝纫机（NSM），用于结构保持的三维服装建模，其能够学习具有多样形状与拓扑结构的服装表示，并成功应用于三维服装重建与可控操控。为对通用服装进行建模，我们首先通过统一的缝纫图案编码模块获得缝纫图案嵌入，因为缝纫图案能够准确描述三维服装的内在结构与拓扑。随后我们使用三维服装解码器，借助带掩码的 UV 位置图将缝纫图案嵌入解码为三维服装。为保持预测三维服装的内在结构，我们在框架的学习过程中引入了面板内结构保持损失、面板间结构保持损失以及表面法向损失。我们在具有多样服装形状与类别的带缝纫图案公开三维服装数据集上评估了 NSM。大量实验表明，所提出的 NSM 能够表示多样形状与拓扑下的三维服装，从保持结构的二维图像中逼真重建三维服装，并精确操控三维服装的类别、形状与拓扑，以明显优势超越最先进的方法。