TODE-Trans：基于Transformer的透明物体深度估计
计算机视觉与模式识别
2022-09-20 v1 机器人学
摘要
透明物体广泛应用于工业自动化和日常生活中。然而，透明物体的鲁棒视觉识别与感知一直是一项重大挑战。目前，大多数商用级深度相机由于光的折射和反射，仍不擅长感知透明物体的表面。在本工作中，我们提出了一种基于Transformer的从单张RGB-D输入进行透明物体深度估计的方法。我们观察到Transformer的全局特性使其更容易提取上下文信息以执行透明区域的深度估计。此外，为了更好地增强细粒度特征，设计了一个特征融合模块（FFM）以辅助一致性预测。我们的经验证据表明，我们的模型在近期流行的数据集上取得了显著改进，例如在ClearGrasp数据集上相比先前最先进的基于卷积的同类方法，RMSE提升25%，REL提升21%。大量结果表明，我们基于Transformer的模型能够更好地聚合物体的RGB与不准确深度信息，从而获得更好的深度表示。我们的代码与预训练模型将发布于 https://github.com/yuchendoudou/TODE。
引用
@article{arxiv.2209.08455,
title = {TODE-Trans: Transparent Object Depth Estimation with Transformer},
author = {Kang Chen and Shaochen Wang and Beihao Xia and Dongxu Li and Zhen Kan and Bin Li},
journal= {arXiv preprint arXiv:2209.08455},
year = {2022}
}
备注
Submitted to ICRA2023