用于以自我为中心的视角合成的平衡球面网格
计算机视觉与模式识别
2023-03-27 v2
摘要
我们提出 EgoNeRF，一种用于重建大规模真实世界环境以生成 VR 资产的实用方案。给定数秒随意拍摄的 360 视频，EgoNeRF 能高效构建神经辐射场，从而实现从新视点高质量渲染。受近期利用特征网格加速 NeRF 的启发，我们采用球坐标而非传统的笛卡尔坐标。笛卡尔特征网格由于具有空间均匀分辨率（与观察者距离无关），在表示大规模无界场景时效率低下。球面参数化更好地与以自我为中心图像的射线对齐，且支持因式分解以提升性能。然而，朴素球面网格在两极存在不规则性，且无法表示无界场景。为避免极点附近奇异性，我们结合两个平衡网格，从而得到准均匀角度网格。我们还将径向网格按指数划分，并在无穷远处放置环境贴图以表示无界场景。此外，借助我们针对基于网格方法的重采样技术，可增加训练 NeRF 体积的有效样本数。我们在新引入的合成与真实世界以自我为中心 360 视频数据集上广泛评估了该方法，其一致取得了最先进的性能。
引用
@article{arxiv.2303.12408,
title = {Balanced Spherical Grid for Egocentric View Synthesis},
author = {Changwoon Choi and Sang Min Kim and Young Min Kim},
journal= {arXiv preprint arXiv:2303.12408},
year = {2023}
}
备注
Accepted to CVPR 2023