HandRefiner：基于扩散条件修复修正生成图像中畸形手部
计算机视觉与模式识别
2024-08-19 v2
摘要
扩散模型在生成逼真图像方面取得了显著成功，但在生成准确的人手（如错误的手指数量或不规则形状）上存在困难。这一困难源于从训练图像中学习手部物理结构与姿态的复杂任务，其涉及广泛的形变与遮挡。为正确生成手部，本文提出一种轻量级后处理方案。HandRefiner采用条件修复方法修正畸形手部，同时保持图像其他部分不变。我们利用手部网格重建模型，该模型始终遵循正确的手指数量与手部形状，且能拟合生成图像中期望的手部姿态。给定因畸形手部而生成失败的图像，我们利用ControlNet模块重新注入此类正确手部信息。此外，我们发现随着控制强度的变化，ControlNet内部存在相变现象。它使我们能够利用更易获取的合成数据，而不受真实与合成手部间领域鸿沟的影响。实验表明，HandRefiner能在定量与定性上显著提升生成质量。代码见 https://github.com/wenquanlu/HandRefiner。
引用
@article{arxiv.2311.17957,
title = {HandRefiner: Refining Malformed Hands in Generated Images by Diffusion-based Conditional Inpainting},
author = {Wenquan Lu and Yufei Xu and Jing Zhang and Chaoyue Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2311.17957},
year = {2024}
}