DPMesh：利用扩散先验进行遮挡人体网格恢复

遮挡人体网格的恢复对当前方法提出了挑战，因为在严重遮挡下难以提取有效的图像特征。在本文中，我们提出了DPMesh，一个创新的遮挡人体网格恢复框架，它利用了预训练文本到图像扩散模型中嵌入的关于物体结构和空间关系的深刻扩散先验。与以往依赖传统骨干网络进行普通特征提取的方法不同，DPMesh将具有强大知识的预训练去噪U-Net无缝集成作为其图像骨干，并执行单步推理以提供遮挡感知信息。为了增强对遮挡姿态的感知能力，DPMesh通过条件注入引入了精心设计的引导，从而从2D观测中为去噪U-Net产生有效的控制。此外，我们探索了一种专门的噪声关键点推理方法，以减轻遮挡和拥挤场景引起的干扰。该策略充分释放了扩散先验的感知能力，从而提高了准确性。大量实验证实了我们框架的有效性，我们在遮挡特定数据集和标准数据集上都优于最先进的方法。令人信服的结果强调了其在涉及遮挡和拥挤场景的挑战性场景中实现精确且鲁棒的3D人体网格恢复的能力。