EVA3D：基于2D图像集合的组合式3D人体生成
计算机视觉与模式识别
2022-10-11 v1
摘要
逆向图形学旨在从2D观测中恢复3D模型。利用可微渲染，近期3D感知生成模型在使用2D图像进行刚体生成方面已取得令人印象深刻的成果。然而，由于人体在姿态与外观上的复杂性与多样性，生成如人体般的关节物体仍具挑战。在本工作中，我们提出EVA3D，一种仅从2D图像集合学习得到的无条件3D人体生成模型。EVA3D可采样具有精细几何的3D人体，并渲染高质量图像（高达512x256）而无需额外技巧（如超分辨率）。EVA3D的核心是一种组合式人体NeRF表示，其将人体划分为局部部位，每个部位由独立体表示。该组合表示实现了：1）固有人体先验，2）网络参数的自适应分配，3）高效训练与渲染。此外，为适配稀疏2D人体图像集合的特性（如姿态分布不平衡），我们提出姿态引导采样策略以改进GAN学习。大量实验验证EVA3D在几何与纹理质量上均达到最先进（state-of-the-art）的3D人体生成性能。值得注意的是，EVA3D以简洁框架展现出对多样化人体进行“逆向图形学”重建的巨大潜力与可扩展性。
引用
@article{arxiv.2210.04888,
title = {EVA3D: Compositional 3D Human Generation from 2D Image Collections},
author = {Fangzhou Hong and Zhaoxi Chen and Yushi Lan and Liang Pan and Ziwei Liu},
journal= {arXiv preprint arXiv:2210.04888},
year = {2022}
}
备注
Project Page at https://hongfz16.github.io/projects/EVA3D.html