NOVA-3D：基于非重叠视角的 3D 动漫角色重建
计算机视觉与模式识别
2024-05-22 v1
摘要
在动画行业中，3D 建模师通常依赖正面和背面非重叠的概念设计来指导动漫角色的 3D 建模。然而，目前缺乏直接从这些 2D 设计生成动漫角色的自动化方法。有鉴于此，我们探索了一项从非重叠视角重建动漫角色的新任务。这带来了两个主要挑战：由于缺乏重叠区域，现有的多视角方法无法直接应用；且缺乏全身动漫角色数据和标准基准。为了弥合这一差距，我们提出了非重叠视角 3D 动漫角色重建（NOVA-3D），这是一个新框架，实现了一种视角感知特征融合方法以有效学习 3D 一致性特征，并直接从非重叠的正背面视角合成全身动漫角色。为了促进这一研究方向，我们收集了 NOVA-Human 数据集，其中包含 3D 动漫角色的多视角图像和精确的相机参数。大量实验表明，所提出的方法优于基线方法，实现了具有出色细节保真度的动漫角色重建。此外，为了进一步验证我们方法的有效性，我们将其应用于动漫头部重建任务，并在 SSIM、LPIPS 和 PSNR 上平均将最先进的基线分别提升至 94.453、7.726 和 19.575。代码和数据集可在 https://wanghongsheng01.github.io/NOVA-3D/ 获取。
引用
@article{arxiv.2405.12505,
title = {NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction},
author = {Hongsheng Wang and Nanjie Yao and Xinrui Zhou and Shengyu Zhang and Huahao Xu and Fei Wu and Feng Lin},
journal= {arXiv preprint arXiv:2405.12505},
year = {2024}
}