RealisHuman：一种用于优化生成图像中畸形人体部位的两阶段方法
计算机视觉与模式识别
2024-11-14 v2
摘要
近年来，扩散模型彻底改变了视觉生成领域，表现优于生成对抗网络 (GANs) 等传统框架。然而，由于手部和面部等语义部位具有复杂的结构，生成具有真实感语义部位的人体图像仍然是一项重大挑战。为了解决这一问题，我们提出了一种新颖的后处理解决方案，命名为 RealisHuman。RealisHuman 框架分两个阶段运行。首先，它以原始畸形部位为参考，生成逼真的人体部位（如手或脸），确保与原图细节一致。其次，通过重绘周围区域以确保平滑且逼真的融合，将修正后的人体部位无缝整合回其对应位置。正如定性和定量指标的显著改进所证明的那样，RealisHuman 框架大幅提升了人体生成的真实感。代码可在 https://github.com/Wangbenzhi/RealisHuman 获取。
引用
@article{arxiv.2409.03644,
title = {RealisHuman: A Two-Stage Approach for Refining Malformed Human Parts in Generated Images},
author = {Benzhi Wang and Jingkai Zhou and Jingqi Bai and Yang Yang and Weihua Chen and Fan Wang and Zhen Lei},
journal= {arXiv preprint arXiv:2409.03644},
year = {2024}
}