基于 RGB-D 扫描的对抗纹理优化
计算机视觉与模式识别
2020-03-20 v1
摘要
逼真的彩色纹理生成是 RGB-D 表面重建中的重要步骤，但由于重建几何的不精确、相机位姿的错位以及视相关的成像伪影，在实践中仍具挑战性。在本工作中，我们提出一种利用弱监督视图获得的条件下对抗损失进行彩色纹理生成的新方法。具体而言，我们提出一种即便从错位图像中也能为近似表面生成照片级真实感纹理的方法，通过学习对这些误差具有鲁棒性的目标函数来实现。我们方法的核心思想是学习一个基于块的条件下判别器，引导纹理优化对错位具有容忍度。我们的判别器接收合成视图与真实图像，并在放宽后的真实感定义下评估合成视图是否真实。我们通过将输入视图及其错位版本作为“真实”样本对来训练判别器——从而使学到的对抗损失能容忍来自扫描的误差。在合成与真实数据上的定量或定性评估实验，展示了我们的方法相较于最先进方法的优势。我们的代码已公开并提供视频演示。
引用
@article{arxiv.2003.08400,
title = {Adversarial Texture Optimization from RGB-D Scans},
author = {Jingwei Huang and Justus Thies and Angela Dai and Abhijit Kundu and Chiyu Max Jiang and Leonidas Guibas and Matthias Nießner and Thomas Funkhouser},
journal= {arXiv preprint arXiv:2003.08400},
year = {2020}
}