基于几何感知对抗学习的动态物体移除与时空 RGB-D 修复
计算机视觉与模式识别
2022-01-05 v4 机器学习
机器人学
摘要
动态物体对机器人环境感知有显著影响，会降低定位与建图等核心任务的性能。在本工作中，我们通过合成被动态物体遮挡区域的合理颜色、纹理与几何来解决此问题。我们提出了新颖的几何感知 DynaFill 架构，其遵循由粗到细的拓扑结构，并融入我们的门控循环反馈机制以自适应融合来自先前时间步的信息。我们利用对抗训练优化架构以合成精细逼真纹理，使其能在线以空间与时间一致的方式对遮挡区域中的颜色与深度结构进行幻觉生成，且不依赖未来帧信息。将我们的修复问题视为图像到图像翻译任务，我们的模型还能修正场景中因动态物体存在而相关的区域，如阴影或反射。我们引入了一个大规模超现实数据集，包含 RGB-D 图像、语义分割标签、相机位姿以及遮挡区域的真实 RGB-D 信息。大量定量与定性评估表明，即便在具挑战性的天气条件下，我们的方法也达到了 SOTA 性能。此外，我们给出了利用合成图像进行基于检索的视觉定位的结果，证明了我们方法的实用性。
引用
@article{arxiv.2008.05058,
title = {Dynamic Object Removal and Spatio-Temporal RGB-D Inpainting via Geometry-Aware Adversarial Learning},
author = {Borna Bešić and Abhinav Valada},
journal= {arXiv preprint arXiv:2008.05058},
year = {2022}
}
备注
Dataset, code and models are available at http://rl.uni-freiburg.de/research/rgbd-inpainting