DistillGrasp：融合特征相关性与知识蒸馏的透明物体深度补全
计算机视觉与模式识别
2024-08-02 v1 信息检索
摘要
由于反射和折射的视觉特性，RGB-D 相机无法准确捕捉透明物体的深度，导致深度图不完整。为了填补缺失点，近期研究倾向于探索新的视觉特征并设计复杂网络来重建深度，但这些方法极大地增加了计算量，而且不同视觉特征之间的相关性仍是一个问题。为此，我们提出了一种高效的深度补全网络 DistillGrasp，它通过知识蒸馏从教师分支向学生分支传递知识。具体而言，在教师分支中，我们设计了一个位置相关模块 (PCB)，利用 RGB 图像作为查询和键来搜索对应的值，引导模型在两个特征之间建立正确的对应关系并将其传递到透明区域。对于学生分支，我们提出了一致特征相关模块 (CFCM)，分别根据一致性保留 RGB 图像和深度图的可靠区域，并采用 CNN 来捕获配对关系以完成深度补全。为了避免学生分支仅从教师分支学习区域特征，我们设计了一种蒸馏损失，不仅考虑距离损失，还考虑物体结构和边缘信息。在 ClearGrasp 数据集上进行的广泛实验表明，我们的教师网络在准确性和泛化性方面优于最先进方法，而学生网络以 48 FPS 的更高速度取得了具有竞争力的结果。此外，在真实世界机器人抓取系统中的显著提升说明了所提出系统的有效性和鲁棒性。
引用
@article{arxiv.2408.00337,
title = {DistillGrasp: Integrating Features Correlation with Knowledge Distillation for Depth Completion of Transparent Objects},
author = {Yiheng Huang and Junhong Chen and Nick Michiels and Muhammad Asim and Luc Claesen and Wenyin Liu},
journal= {arXiv preprint arXiv:2408.00337},
year = {2024}
}
备注
10 pages, 5 figures