基于可变形神经网格图元的高效用城市场景辐射场表示
计算机视觉与模式识别
2023-07-21 v1
摘要
神经辐射场（NeRFs）在过去几年中取得了巨大成功。然而，由于基于光线步进的渲染，当前大多数方法仍需要大量资源。为高效构建城市级辐射场，我们设计了可变形神经网格图元（DNMP），并提出用此类图元参数化整个场景。DNMP是经典网格表示的一种灵活且紧凑的神经变体，兼具基于光栅化渲染的高效性与用于逼真图像合成的强大神经表示能力。具体而言，一个DNMP由一组相连的可变形网格顶点及配对顶点特征组成，用于参数化局部区域的几何与辐射信息。为约束优化的自由度并降低存储开销，我们强制每个图元的形状由相对低维的潜空间解码得到。渲染颜色由顶点特征（通过光栅化插值）经视角相关的MLP解码得到。DNMP为城市级场景表示提供了一种新范式，具有以下特性：(1) 高质量渲染。我们的方法在城市场景新视角合成中取得领先性能。(2) 低计算开销。我们的表示支持快速渲染（2.07毫秒/1k像素）和低峰值内存占用（110MB/1k像素）。我们还给出了一个轻量版本，其速度可达原始NeRF的33倍，且与高度优化的Instant-NGP相当（0.61对比0.71毫秒/1k像素）。项目主页：\href{https://dnmp.github.io/}{https://dnmp.github.io/}。
引用
@article{arxiv.2307.10776,
title = {Urban Radiance Field Representation with Deformable Neural Mesh Primitives},
author = {Fan Lu and Yan Xu and Guang Chen and Hongsheng Li and Kwan-Yee Lin and Changjun Jiang},
journal= {arXiv preprint arXiv:2307.10776},
year = {2023}
}
备注
Accepted to ICCV2023