SPSG：基于 RGB-D 扫描的自监督光度场景生成
计算机视觉与模式识别
2021-04-29 v2
摘要
我们提出 SPSG，一种通过自监督方式学习推断未观测场景几何与颜色，从 RGB-D 扫描观测生成高质量彩色 3D 场景模型的新方法。我们的自监督方法通过学习将不完整的 RGB-D 扫描与更完整的该扫描版本相关联，来联合修补几何与颜色。值得注意的是，我们并非依赖 3D 重建损失来指导 3D 几何与颜色重建，而是提出作用于 2D 渲染的对抗损失与感知损失，以实现高分辨率、高质量的彩色场景重建。这利用了来自单个原始 RGB-D 帧的高分辨率、自一致信号，而非来自视图相关效应（如颜色平衡或位姿不一致）表现出不一致的帧融合 3D 重建。因此，通过 2D 信号直接指导我们的 3D 场景生成，我们生成了高质量的 3D 场景彩色重建，在合成与真实数据上均优于当前最优方法。
引用
@article{arxiv.2006.14660,
title = {SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans},
author = {Angela Dai and Yawar Siddiqui and Justus Thies and Julien Valentin and Matthias Nießner},
journal= {arXiv preprint arXiv:2006.14660},
year = {2021}
}
备注
Video: https://youtu.be/1cj962m9zqo