MirrorNeRF：基于多镜折反射成像的一次性神经人像辐射场
计算机视觉与模式识别
2021-05-17 v2
摘要
人像的照片级真实神经重建与渲染对众多 VR/AR 应用至关重要。然而，现有方案本质上依赖多视角采集设置，而摆脱繁琐的多视角同步与标定的一次性解决方案仍极具挑战。本文提出 MirrorNeRF——一种利用多球面镜与单台高分辨率数码相机构建的折反射成像系统的一次性神经人像自由视角渲染方法，首次将神经辐射场与折反射成像相结合，从而在低成本、随意采集设置下实现一次性照片级真实人像重建与渲染。更具体地，我们提出了一种带有球面镜阵列的轻量折反射系统设计，以在连续三维空间中实现多样化光线采样，并对相机与镜阵进行有效在线标定。我们的折反射成像系统可低成本便捷部署，并具备日常随意采集能力。我们引入一种新颖的神经扭曲辐射场表示，学习连续位移场以隐式补偿因灵活系统设置导致的错位。我们进一步提出密度正则化方案，以自监督方式利用折反射数据固有的几何信息，不仅提升训练效率，还为更高渲染质量提供更有效的密度监督。大量实验证明了我们的方案在实现人像场景一次性照片级真实高质量自由视角渲染上的有效性与鲁棒性。
引用
@article{arxiv.2104.02607,
title = {MirrorNeRF: One-shot Neural Portrait Radiance Field from Multi-mirror Catadioptric Imaging},
author = {Ziyu Wang and Liao Wang and Fuqiang Zhao and Minye Wu and Lan Xu and Jingyi Yu},
journal= {arXiv preprint arXiv:2104.02607},
year = {2021}
}