基于3D手部网格引导的AI生成畸形手部精修与通过扩散模型实现的手部姿态变换

AI生成图像中的畸形手部严重影响了图像的真实感。为精修畸形手部，现有的基于深度的方法使用手部深度估计器来引导精修过程。由于手部深度估计器的性能限制，许多手部细节无法被表示，导致生成的手部出现错误，例如混淆手掌和手背。为解决此问题，我们提出了一种使用扩散管道的3D网格引导精修框架。我们采用最先进的3D手部网格估计器，能够提供更多的手部细节。在训练阶段，我们收集并重新标注了一个由RGB图像和3D手部网格组成的数据集。然后我们设计了一个扩散修复模型，以3D手部网格为引导生成精修后的输出。在推理阶段，我们提出了一种双重检查算法，以帮助3D手部网格估计器获得稳健的手部网格引导，从而获得精修结果。除了畸形手部精修外，我们还提出了一种新颖的手部姿态变换方法。它增加了畸形手部精修任务的灵活性和多样性。我们使恢复后的图像模仿参考图像中的手部姿态。姿态变换无需额外训练。广泛的实验结果证明了我们所提出方法的优越性能。