Pose2RGBD：从绝对位姿生成深度与 RGB 图像
计算机视觉与模式识别
2020-07-15 v1 图像与视频处理
摘要
我们提出了一种处于计算机视觉与计算机图形学交叉领域的方法，其利用神经网络，基于先前已见且同步的视频、深度与位姿信号自动生成 RGBD 图像。由于模型必须能够重建纹理（RGB）与结构（深度），它创建了场景的隐式表示，而非网格或点云等显式表示。该过程可视为神经渲染，我们得到一个函数 f：位姿 -> RGBD，可用于在生成场景中游走，类似于图形学仿真。我们引入了两个新数据集，一个基于带有完整真值信息的合成数据，另一个由无人机在大学校园飞行时仅使用视频与 GPS 信号记录。最后，我们提出了一种仅从视频生成数据集的完全无监督方法，以训练 Pose2RGBD 网络。代码与数据集见：https://gitlab.com/mihaicristianpirvu/pose2rgbd。
引用
@article{arxiv.2007.07013,
title = {Pose2RGBD. Generating Depth and RGB images from absolute positions},
author = {Mihai Cristian Pîrvu},
journal= {arXiv preprint arXiv:2007.07013},
year = {2020}
}