用于 4D 视角合成与视频处理的神经辐射流
计算机视觉与模式识别
2021-09-07 v2 机器学习
机器人学
摘要
我们提出一种方法——神经辐射流（NeRFlow），从一组 RGB 图像中学习动态场景的 4D 时空表示。我们方法的关键在于使用神经隐式表示，学习捕捉场景的 3D 占据、辐射与动态。通过在不同模态间强制一致性，我们的表示实现了多样动态场景中的多视角渲染，包括倒水、机器人交互和真实图像，优于用于时空视角合成的最先进方法。我们的方法即便在仅用一台相机捕获输入图像时也有效。我们进一步证明，学到的表示可作为隐式场景先验，无需任何额外监督即可支持图像超分辨率和去噪等视频处理任务。
引用
@article{arxiv.2012.09790,
title = {Neural Radiance Flow for 4D View Synthesis and Video Processing},
author = {Yilun Du and Yinan Zhang and Hong-Xing Yu and Joshua B. Tenenbaum and Jiajun Wu},
journal= {arXiv preprint arXiv:2012.09790},
year = {2021}
}
备注
ICCV 2021. Website: https://yilundu.github.io/nerflow/