TransTouch：通过稀疏触摸学习透明物体深度感知
机器人学
2023-09-19 v1 计算机视觉与模式识别
摘要
透明物体在日常生活中很常见。然而，透明物体的深度感知仍然是一个具有挑战性的问题。虽然基于学习的方法可以利用形状先验来提高感知质量，但现实世界中劳动密集型的数据收集以及仿真到现实的领域差距限制了这些方法的可扩展性。本文中，我们提出一种方法，利用带有触觉反馈的探测系统自动收集的稀疏深度标签来微调立体网络。我们提出一种新颖的效用函数来评估触摸的收益。通过近似和优化该效用函数，我们可以在给定固定触摸预算的情况下优化探测位置，以更好地提升网络在真实物体上的性能。我们进一步将触觉深度监督与基于置信度的正则化相结合，以防止微调过程中的过拟合。为评估方法的有效性，我们构建了一个包含漫反射和透明物体的真实世界数据集。在该数据集上的实验结果表明，我们的方法能显著提升真实世界深度感知精度，尤其是对透明物体。
引用
@article{arxiv.2309.09427,
title = {TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches},
author = {Liuyu Bian and Pengyang Shi and Weihang Chen and Jing Xu and Li Yi and Rui Chen},
journal= {arXiv preprint arXiv:2309.09427},
year = {2023}
}
备注
Accepted to the 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)