Sem2NeRF：将单视图语义掩码转换为神经辐射场
计算机视觉与模式识别
2023-04-04 v2 人工智能
图形学
摘要
随着深度生成模型的快速发展，图像翻译与编辑已获得越来越多的关注。尽管现有方法取得了令人印象深刻的成果，但它们主要在 2D 空间中操作。鉴于近期基于 NeRF 的 3D 感知生成模型的进展，我们引入了一项新任务——语义到 NeRF 的翻译，旨在以单视图语义掩码为条件重建由 NeRF 建模的 3D 场景。为启动这一新任务，我们提出了 Sem2NeRF 框架。具体而言，Sem2NeRF 通过将语义掩码编码为控制预训练解码器 3D 场景表示的潜码，来解决这一极具挑战性的任务。为进一步提升映射精度，我们将一种新的区域感知学习策略集成到编码器与解码器的设计中。我们验证了所提 Sem2NeRF 的有效性，并展示其在两个基准数据集上优于若干强基线。代码与视频见 https://donydchen.github.io/sem2nerf/
引用
@article{arxiv.2203.10821,
title = {Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields},
author = {Yuedong Chen and Qianyi Wu and Chuanxia Zheng and Tat-Jen Cham and Jianfei Cai},
journal= {arXiv preprint arXiv:2203.10821},
year = {2023}
}
备注
ECCV2022, Code: https://github.com/donydchen/sem2nerf Project Page: https://donydchen.github.io/sem2nerf/