PersonaCraft：基于遮挡感知3D条件扩散的全人体多人场景生成
计算机视觉与模式识别
2025-03-17 v2 人工智能
摘要
我们提出PersonaCraft，一个用于可控且遮挡鲁棒的多人复杂场景中全人体个性化图像合成的框架。当前方法在遮挡严重的场景中和完整人体个性化方面存在挑战，因2D姿态条件缺乏3D几何，常导致遮挡模糊和解剖变形，且许多方法仅关注面部身份。相反，PersonaCraft将扩散模型与3D人体建模相集成，采用SMPLx-ControlNet利用深度图和法线图等3D几何信息实现稳健的3D感知姿态条件和增强的解剖一致性。为处理细粒度遮挡，本文提出Occlusion Boundary Enhancer Network利用深度边缘信号进行遮挡导向训练，并提出Occlusion-Aware Classifier-Free Guidance策略在不影响未遮挡区域的前提下选择性强化遮挡区域的条件。PersonaCraft可无缝与Face Identity ControlNet集成，实现全人体多人个性化，标志着在仅关注面部身份的先前方法之上的重大突破。我们的双路径人体形状表示结合SMPLx-based形状参数和文本细化，实现精确的全人体个性化和灵活的用户定义人体形状调整。大量定量实验和用户研究表明，PersonaCraft在生成高质量、多人个性化图像方面显著优于现有方法，实现准确的个性化和稳健的遮挡处理。
引用
@article{arxiv.2411.18068,
title = {PersonaCraft: Personalized and Controllable Full-Body Multi-Human Scene Generation Using Occlusion-Aware 3D-Conditioned Diffusion},
author = {Gwanghyun Kim and Suh Yoon Jeon and Seunggyu Lee and Se Young Chun},
journal= {arXiv preprint arXiv:2411.18068},
year = {2025}
}
备注
Project page: https://gwang-kim.github.io/persona_craft