卷积神经不透明度辐射场
计算机视觉与模式识别
2021-04-06 v1
摘要
对具有复杂不透明度的模糊物体进行照片级建模与渲染，对众多沉浸式 VR/AR 应用至关重要，但其受强烈的视角相关亮度、颜色影响。本文提出一种新颖方案，利用卷积神经渲染器为模糊物体生成不透明度辐射场，首次将显式不透明度监督与卷积机制同时引入神经辐射场框架，从而实现任意新视角下高质量外观与全局一致的 alpha 抠像生成。更具体地，我们提出一种沿相机光线与图像平面的高效采样策略，支持以块方式（patch-wise）高效采样与学习辐射场，以及一种新颖的体积特征整合方案，生成逐块混合特征嵌入以重建视角一致、细节精细的外观与不透明度输出。我们进一步采用块级对抗训练方案，在自监督框架中保留高频外观与不透明度细节。我们还引入了一种有效的多视角图像采集系统，为具挑战性的模糊物体捕获高质量颜色与 alpha 图。在现有及我们新提出的具挑战性模糊物体数据集上的大量实验表明，我们的方法可为各类模糊物体实现照片级、全局一致且细节精细的自由视角外观与不透明度渲染。
引用
@article{arxiv.2104.01772,
title = {Convolutional Neural Opacity Radiance Fields},
author = {Haimin Luo and Anpei Chen and Qixuan Zhang and Bai Pang and Minye Wu and Lan Xu and Jingyi Yu},
journal= {arXiv preprint arXiv:2104.01772},
year = {2021}
}