基于模块化代码库对三维感知图像合成进行基准测试与分析
计算机视觉与模式识别
2023-06-22 v1
摘要
尽管三维感知图像合成进展迅速,现有研究通常混杂多种技术与技巧,致使各组成部分在通用性方面对最终性能的贡献不明。遵循该领域最流行且有效的范式——将神经辐射场(NeRF)植入生成对抗网络(GAN)的生成器中——我们通过模块化生成过程构建了一个结构良好的代码库,称为 Carver。此类设计允许研究者独立开发与替换每个模块,从而提供公平比较各类方法并从模块视角认识其贡献的机会。一系列前沿算法的复现证明了我们模块化代码库的可用性。我们还进行了多种深入分析,例如不同类型点特征的比较、生成器中尾部上采样器的必要性、对相机位姿先验的依赖等,这深化了对现有方法的理解并指出了研究工作的若干进一步方向。我们在 https://github.com/qiuyu96/Carver 发布了代码与模型,以促进该领域的开发与评估。
引用
@article{arxiv.2306.12423,
title = {Benchmarking and Analyzing 3D-aware Image Synthesis with a Modularized Codebase},
author = {Qiuyu Wang and Zifan Shi and Kecheng Zheng and Yinghao Xu and Sida Peng and Yujun Shen},
journal= {arXiv preprint arXiv:2306.12423},
year = {2023}
}
备注
Code: https://github.com/qiuyu96/Carver