野外的幻觉神经辐射场
计算机视觉与模式识别
2022-05-31 v3 人工智能
摘要
神经辐射场（NeRF）近来因其令人印象深刻的新视角合成能力而受到欢迎。本文研究幻觉 NeRF 问题：即从一组旅游图像中恢复出一天中不同时刻的逼真 NeRF。现有方案采用带可控外观嵌入的 NeRF 在各种条件下渲染新视角，但无法以未见外观渲染视角一致的图像。为解决此问题，我们提出一个用于构建幻觉 NeRF 的端到端框架，称为 Ha-NeRF。具体而言，我们提出一个外观幻觉模块来处理随时间变化的外观并将其迁移到新视角。考虑到旅游图像复杂的遮挡，我们引入一个抗遮挡模块来准确分解静态主体以获得可见性。在合成数据与真实旅游照片集合上的实验结果表明，我们的方法能够幻觉出所需外观并从不同视角渲染无遮挡图像。项目与补充材料见 https://rover-xingyu.github.io/Ha-NeRF/。
引用
@article{arxiv.2111.15246,
title = {Hallucinated Neural Radiance Fields in the Wild},
author = {Xingyu Chen and Qi Zhang and Xiaoyu Li and Yue Chen and Ying Feng and Xuan Wang and Jue Wang},
journal= {arXiv preprint arXiv:2111.15246},
year = {2022}
}
备注
Accepted by CVPR 2022. Project website: https://rover-xingyu.github.io/Ha-NeRF/