基于单目深度补全先验与极线引导光流的桌面透明场景重建
机器人学
2023-10-17 v1 计算机视觉与模式识别
摘要
使用廉价 RGB-D 相机重建透明物体是机器人感知中一项长期存在的挑战，其原因在于 RGB 域中跨视角外观不一致以及各单视图深度读数不准确。我们提出了一种面向移动平台的透明物体重建两阶段流水线。第一阶段，利用现成的单目物体分割与深度补全网络预测透明物体的深度，提供单视图形状先验。随后，我们提出极线引导光流（EOF）将第一阶段得到的若干单视图形状先验融合为跨视图一致的 3D 重建，给定由场景不透明部分估计出的相机位姿。我们的核心创新在于 EOF，其将边界敏感采样与极线约束引入光流，以在透明物体上准确建立跨多视图的 2D 对应。定量评估表明，我们的流水线在 3D 重建质量上显著优于基线方法，为更灵巧的机器人感知与透明物体交互铺平了道路。
引用
@article{arxiv.2310.09956,
title = {Tabletop Transparent Scene Reconstruction via Epipolar-Guided Optical Flow with Monocular Depth Completion Prior},
author = {Xiaotong Chen and Zheming Zhou and Zhuo Deng and Omid Ghasemalizadeh and Min Sun and Cheng-Hao Kuo and Arnie Sen},
journal= {arXiv preprint arXiv:2310.09956},
year = {2023}
}
备注
IEEE-RAS Humanoids 2023 paper, 8 pages, 6 figures