用于三维感知图像生成的生成式多平面神经辐射场
计算机视觉与模式识别
2023-04-04 v1
摘要
我们提出了一种高效生成在多个目标视角下视图一致的高分辨率三维感知图像的方法。所提出的多平面神经辐射模型名为 GMNR，其包含一个新颖的 α 引导的视角相关表示（α-VdR）模块，用于学习视角相关信息。该 α-VdR 模块借助一种 α 引导的像素采样技术，通过学习视角方向与位置系数高效地计算视角相关表示。此外，我们提出了一种视图一致性损失，以强制多个视角间的光度相似性。GMNR 模型能够生成在多个相机位姿下视图一致的三维感知高分辨率图像，同时在训练与推理时间上保持计算高效。在三个数据集上的实验证明了所提模块的有效性，相较于现有方法在生成质量与推理时间方面均取得了更优结果。我们的 GMNR 模型在单块 V100 上以 17.6 FPS 生成 1024×1024 像素的三维感知图像。代码：https://github.com/VIROBO-15/GMNR
引用
@article{arxiv.2304.01172,
title = {Generative Multiplane Neural Radiance for 3D-Aware Image Generation},
author = {Amandeep Kumar and Ankan Kumar Bhunia and Sanath Narayan and Hisham Cholakkal and Rao Muhammad Anwer and Salman Khan and Ming-Hsuan Yang and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2304.01172},
year = {2023}
}
备注
Technical report