BAG：基于身体的3D可穿戴资产生成

虽然近期在通用3D形状生成模型方面取得了显著进展，但将这些方法应用于自动生成可穿戴3D资产的挑战仍未被探索。为此，我们提出BAG（Body-aligned Asset Generation），一种基于身体的资产生成方法，用于输出可自动贴合给定3D人体的3D可穿戴资产。该方法通过控制3D生成过程中的人体形状和姿态信息来实现。具体而言，我们首先构建一个从单张图像生成一致多视图图像的扩散模型，并在大型Objaverse数据集上训练以实现多样性和通用性。随后，我们训练一个Controlnet以引导多视图生成器产生身体对齐的多视图图像。该控制信号利用目标人体的多视图2D投影，其中像素值代表标准空间中人体表面的XYZ坐标。身体条件化的多视图扩散可生成身体对齐的多视图图像，这些图像随后输入本土3D扩散模型以生成资产的3D形状。最后，通过多视图轮廓监督恢复相似性变换并利用物理模拟解决资产与人体的穿透问题，最终可将3D资产精确地贴合到目标人体上。实验结果表明，BAG在图像提示跟随能力、形状多样性和形状质量方面均显著优于现有方法。项目页面可访问 https://bag-3d.github.io/。