DCIRNet: 用于透明和反射物体灵巧抓取的深度补全与迭代精化
机器人学
2025-06-12 v1 计算机视觉与模式识别
摘要
日常环境中的透明和反射物体因其独特的视觉特性（如镜面反射和光透射）而对深度传感器构成重大挑战。这些特性通常导致深度估计不完整或不准确，严重影响下游基于几何的视觉任务，包括物体识别、场景重建和机器人操控。为解决透明和反射物体缺失深度信息的问题，我们提出了 DCIRNet，一种新颖的多模态深度补全网络，能够有效整合 RGB 图像和深度图以提升深度估计质量。我们的方法包含一个创新的多模态特征融合模块，用于提取 RGB 图像和不完整深度图之间的互补信息。此外，我们引入了一种多阶段监督和深度精化策略，逐步提升深度补全效果，并有效缓解物体边界模糊的问题。我们将深度补全模型集成到灵巧抓取框架中，实现了透明和反射物体抓取成功率的 44% 提升。我们在公开数据集上进行了广泛实验，DCIRNet 展现了优越的性能。实验结果验证了我们方法的有效性，并证实了其在各种透明和反射物体上的强泛化能力。
引用
@article{arxiv.2506.09491,
title = {DCIRNet: Depth Completion with Iterative Refinement for Dexterous Grasping of Transparent and Reflective Objects},
author = {Guanghu Xie and Zhiduo Jiang and Yonglong Zhang and Yang Liu and Zongwu Xie and Baoshi Cao and Hong Liu},
journal= {arXiv preprint arXiv:2506.09491},
year = {2025}
}