基于双流 GAN 的自由形式三维场景修复
计算机视觉与模式识别
2022-12-19 v1
摘要
如今，由于 AR 与 VR 技术的发展，用户对三维场景编辑的需求迅速增长。然而，现有的三维场景补全任务（及数据集）无法满足该需求，因为场景中的缺失区域由传感器限制或物体遮挡生成。因此，我们提出一项称为自由形式三维场景修复的新任务。与先前三维补全数据集中缺失区域周围保留大部分主体结构及细节形状线索不同，我们所提出的修复数据集 FF-Matterport 包含由自由形式三维掩码生成算法形成的大面积多样化缺失区域，该算法可模拟人在三维空间中的绘制轨迹。此外，先前的三维补全方法在这一具挑战性且实用的任务上表现不佳，仅简单插值邻近几何与颜色上下文。为此，提出一种量身定制的双流 GAN 方法。首先，我们的双流生成器融合几何与颜色信息，产生清晰的语义边界并解决插值问题。为进一步增强细节，我们的轻量双流判别器对预测场景的几何与颜色边缘进行正则化，使其真实且锐利。我们使用所提出的 FF-Matterport 数据集进行了实验。定性与定量结果验证了我们的方法相对于现有场景补全方法的优越性以及所有提出组件的有效性。
引用
@article{arxiv.2212.08464,
title = {Free-form 3D Scene Inpainting with Dual-stream GAN},
author = {Ru-Fen Jheng and Tsung-Han Wu and Jia-Fong Yeh and Winston H. Hsu},
journal= {arXiv preprint arXiv:2212.08464},
year = {2022}
}
备注
BMVC 2022