用于视图合成的多尺度张量分解与渲染方程编码
计算机视觉与模式识别
2023-05-30 v2
摘要
自神经辐射场出现以来，从捕获的多视图图像渲染新视角已取得显著进展。本文旨在通过提出一种称为神经辐射特征场（neural radiance feature field, NRFF）的新方法来进一步提升视图合成质量。我们首先提出一种多尺度张量分解方案来组织可学习特征，从而由粗到细地表示场景。我们展示了所提多尺度表示的诸多优势，包括比单尺度表示更精确的场景形状与外观重建，以及更快的收敛。我们进一步提出不在视图方向编码上建模视角相关效应，而是利用由所提多尺度表示预测的各向异性球面高斯混合在特征空间中编码渲染方程。所提 NRFF 在 NeRF 与 NSVF 合成数据集上以 PSNR 计比最先进（SOTA）渲染结果提升超过 1 dB。在真实世界 Tanks & Temples 数据集上也观察到显著改进。代码见 https://github.com/imkanghan/nrff。
引用
@article{arxiv.2303.03808,
title = {Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis},
author = {Kang Han and Wei Xiang},
journal= {arXiv preprint arXiv:2303.03808},
year = {2023}
}