通过反演运动恢复结构重建揭示场景
计算机视觉与模式识别
2019-04-09 v1
摘要
许多 3D 视觉系统使用 3D 点云在场景内对相机进行定位。此类点云通常通过运动恢复结构（SfM）获得，之后为保护隐私会将图像丢弃。本文首次表明，此类点云保留了足够信息以揭示场景外观并损害隐私。我们提出了一种隐私攻击，从点云重建场景的彩色图像。我们的方法基于级联 U-Net，其输入为从特定视点渲染的点的 2D 多通道图像，包含点的深度以及可选的颜色和 SIFT 描述子，并输出该视点下场景的彩色图像。与以往的特征反演方法不同，我们处理高度稀疏且不规律的 2D 点分布，以及许多点属性缺失的输入，即关键点方向和尺度、描述子图像来源以及 3D 点可见性。我们在公开数据集上评估了攻击算法并分析了点云属性的重要性。最后，我们展示了也能生成新视点，从而实现底层场景引人入胜的虚拟漫游。
引用
@article{arxiv.1904.03303,
title = {Revealing Scenes by Inverting Structure from Motion Reconstructions},
author = {Francesco Pittaluga and Sanjeev J. Koppal and Sing Bing Kang and Sudipta N. Sinha},
journal= {arXiv preprint arXiv:1904.03303},
year = {2019}
}
备注
10 pages, 8 figures, to be published in IEEE Conference on Computer Vision and Pattern Recognition 2019