中文

面向延迟神经渲染的最佳视角选择:DNRSelect

计算机视觉与模式识别 2025-01-22 v1

摘要

延迟神经渲染 (DNR) 是一种旨在实现高保真渲染和机器人感知的新兴计算机图形管线。然而,DNR 依赖由大量光线追踪图像组成的数据集,并需要大量计算资源。如何在保持渲染保真度的同时减少对高质量光线追踪图像的依赖仍有待探索。本文提出 DNRSelect,将强化学习视角选择器与 3D 纹理聚合器集成于延迟神经渲染之中。我们首先提出一种基于强化学习的 DNR 视角选择器,该选择器在易获得的光栅化图像上进行训练,以识别最佳视角。通过仅获取这些选中视角的少量光线追踪图像,选择器使 DNR 能够实现高质量渲染。为进一步增强空间感知和几何一致性,DNRSelect 引入一种 3D 纹理聚合器,将深度图和法线图的金字塔特征与 UV 图融合。鉴于获取光线追踪图像比生成光栅化图像更耗时,DNRSelect 通过仅使用少量选中视角即可实现高保真渲染结果。我们在 NeRF-Synthetic 数据集上进行详细实验和消融研究,证明了 DNRSelect 的有效性。该代码将予以发布。

关键词

引用

@article{arxiv.2501.12150,
  title  = {DNRSelect: Active Best View Selection for Deferred Neural Rendering},
  author = {Dongli Wu and Haochen Li and Xiaobao Wei},
  journal= {arXiv preprint arXiv:2501.12150},
  year   = {2025}
}

备注

7 pages, 8 figures, submitted to ICRA 2025