中文

HandCraft:扩散生成图像中畸形手的解剖学正确修复

计算机视觉与模式识别 2025-06-03 v3

摘要

生成式文本到图像模型(如 Stable Diffusion)已展现出生成多样化、高质量图像的卓越能力。然而,在渲染人手方面,它们却出奇地无能,手部常常出现解剖学上的错误或落入"恐怖谷"。本文提出 HandCraft 方法用于修复此类畸形手。该方法通过参数化模型自动构建手部掩码与深度图像作为条件信号,使基于扩散的图像编辑器能够修复手部解剖结构并调整其姿态,同时将变化无缝融入原始图像,保留姿态、颜色与风格。我们的即插即用手部修复方案兼容现有的预训练扩散模型,且修复过程无需对扩散模型进行任何微调或训练。我们还贡献了 MalHand 数据集,其中包含多种风格的广泛畸形手生成图像,用于手部检测器训练与手部修复基准测试,并通过定性与定量评估证明 HandCraft 不仅能恢复解剖学正确性,还能保持整体图像的完整性。

关键词

引用

@article{arxiv.2411.04332,
  title  = {HandCraft: Anatomically Correct Restoration of Malformed Hands in Diffusion Generated Images},
  author = {Zhenyue Qin and Yiqun Zhang and Yang Liu and Dylan Campbell},
  journal= {arXiv preprint arXiv:2411.04332},
  year   = {2025}
}

备注

2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)