CoNeRF：可控神经辐射场
计算机视觉与模式识别
2021-12-07 v2 图形学
摘要
我们将神经3D表示扩展至允许直观且可解释的用户控制，超越新视角渲染(即相机控制)。我们允许用户仅通过在训练图像中少量掩码标注来指明希望控制场景的哪一部分。我们的核心思想是将属性视为潜变量，由神经网络根据场景编码进行回归。这形成了一个少样本学习框架，当未提供标注时，属性由框架自动发现。我们将方法应用于具有不同类型可控属性(如人脸的表情控制，或无生命物体运动中的状态控制)的多种场景。总体而言，据我们所知，我们首次展示了基于单段视频对场景进行新视角与新属性重渲染。
引用
@article{arxiv.2112.01983,
title = {CoNeRF: Controllable Neural Radiance Fields},
author = {Kacper Kania and Kwang Moo Yi and Marek Kowalski and Tomasz Trzciński and Andrea Tagliasacchi},
journal= {arXiv preprint arXiv:2112.01983},
year = {2021}
}
备注
Project page: https://conerf.github.io/