Points2Pix:基于条件生成对抗网络的三维点云到图像翻译
计算机视觉与模式识别
2019-09-17 v2
摘要
我们提出首个基于条件生成对抗网络(cGAN)的三维点云到图像翻译方法。该模型处理来自不同域的多模态信息源,即原始点集与图像。生成器能够处理三种条件,其中点云被编码为原始点集与相机投影。图像背景块被用作约束以偏置环境纹理。生成器内的全局近似函数直接应用于点云(Point-Net)。因此,该表示学习模型在潜特征空间中直接融入全局三维特征。条件被用于偏置生成图像的背景与视点。这为增强或纹理化三维数据以生成完全个性化的图像开辟了新途径。我们在 Kitti 与 SunRGBD 数据集上成功评估了我们的方法,取得了优异的目标检测 inception 分数。
引用
@article{arxiv.1901.09280,
title = {Points2Pix: 3D Point-Cloud to Image Translation using conditional Generative Adversarial Networks},
author = {Stefan Milz and Martin Simon and Kai Fischer and Maximillian Pöpperl},
journal= {arXiv preprint arXiv:1901.09280},
year = {2019}
}