基于视图一致修复的3D场景杂波检测与去除
计算机视觉与模式识别
2023-09-04 v2
摘要
从场景中去除杂波在许多应用中至关重要，范围从隐私相关的内容过滤到数据增强。在这项工作中，我们提出了一个自动系统，可从3D场景中去除杂波，并以一致的几何与纹理进行修复。我们针对其两个关键组件提出了技术：基于共享属性的3D分割与3D修复，二者均为重要问题。3D场景杂波（频繁移动的物体）的定义并未被计算机视觉中常研究的物体类别很好地涵盖。为应对缺乏明确定义的杂波标注，我们分组处理含噪细粒度标签、利用虚拟渲染，并施加实例级面积敏感损失。一旦杂波被去除，我们通过合并修复后的RGB-D图像来修复结果孔洞中的几何与纹理。这需要新颖的投票与剪枝策略，以保证用于网格重建的各自修复图像间的多视图一致性。在ScanNet和Matterport数据集上的实验表明，我们的方法在视觉与定量上均优于杂波分割与3D修复的基线方法。
引用
@article{arxiv.2304.03763,
title = {Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting},
author = {Fangyin Wei and Thomas Funkhouser and Szymon Rusinkiewicz},
journal= {arXiv preprint arXiv:2304.03763},
year = {2023}
}
备注
18 pages. ICCV 2023. Project page: https://weify627.github.io/clutter/