面向透明和镜面对象的几何感知辅助深度完成方法——GAA-TSO
计算机视觉与模式识别
2025-03-24 v1 机器人学
摘要
透明和镜面对象在日常生活、工厂和实验室中屡见不鲜。然而, 由于其独特的光学特性, 这些对象的深度信息通常不完整且不准确, 这给下游机器人任务带来了显著挑战。因此, 准确恢复透明和镜面对象的深度信息至关重要。以往针对这些对象的深度完成方法通常使用RGB信息作为深度图像的额外通道进行深度预测。由于透明和镜面对象的差异纹理特征, 这些依赖颜色信息的方法倾向于生成结构缺失的深度预测。此外, 这些二维方法无法有效探索深度通道中隐藏的3D结构, 导致深度歧义。为此, 本文提出一种几何感知辅助深度完成方法, 专注于探索场景的3D结构线索。具体而言, 在提取RGB-D输入的二维特征的同时, 我们将输入深度反投影到点云, 并构建3D分支以提取层次化的场景级3D结构特征。为了利用3D几何信息, 我们设计了多个门控跨模态融合模块, 有效地将多级3D几何特征传递到图像分支。此外, 我们提出了一种自适应相关聚合策略, 合理地将3D特征分配给相应的2D特征。 在ClearGrasp、OOD、TransCG和STD数据集上的大量实验表明, 我们的方法优于其他最先进方法。我们进一步演示了该方法显著提升了下游机器人抓取任务的性能。
引用
@article{arxiv.2503.17106,
title = {GAA-TSO: Geometry-Aware Assisted Depth Completion for Transparent and Specular Objects},
author = {Yizhe Liu and Tong Jia and Da Cai and Hao Wang and Dongyue Chen},
journal= {arXiv preprint arXiv:2503.17106},
year = {2025}
}