OccFusion：用于渲染遮挡人的生成扩散先验
计算机视觉与模式识别
2024-07-02 v1
摘要
大多数现有的 human rendering 方法要求人体的每个部位在整个输入视频中都完全可见。然而，这一假设在现实场景中不成立，其中常见遮挡，导致人体仅部分可见。鉴于此，我们提出了 OccFusion，一种利用高效 3D 高斯溅写 supervised by 预训练 2D 扩散模型实现高效且高保真 human rendering 的方法。我们提出了一个由三个阶段组成的 pipeline。 在初始化阶段，从部分可见掩码生成完整的人体掩码。在优化阶段，通过 Score-Distillation Sampling (SDS) 获得额外监督，以创建人的完整几何形状。在精炼阶段，设计了基于上下文的 inpainting 以进一步提高渲染质量，针对观察较少的人体部位。在 ZJU-MoCap 和具有挑战性的 OcMotion 数据集上进行评估，我们发现 OccFusion 在遮挡人体渲染方面实现了最新技术水平的性能。
引用
@article{arxiv.2407.00316,
title = {OccFusion: Rendering Occluded Humans with Generative Diffusion Priors},
author = {Adam Sun and Tiange Xiang and Scott Delp and Li Fei-Fei and Ehsan Adeli},
journal= {arXiv preprint arXiv:2407.00316},
year = {2024}
}