A4T：面向透明物体深度重建与操控的分层可供性检测
机器人学
2022-07-12 v1
摘要
透明物体广泛应用于我们的日常生活中，因此机器人需要能够处理它们。然而，透明物体存在光反射与折射，这使得获取执行操控任务所需的准确深度图具有挑战性。本文中，我们提出一种新颖的基于可供性（affordance）的透明物体深度重建与操控框架，名为 A4T。首先使用分层 AffordanceNet 检测透明物体及其关联可供性，可供性编码了物体不同部分的相对位置。然后，给定预测的可供性图，采用多步深度重建方法逐步重建透明物体的深度图。最后，重建的深度图被用于透明物体的基于可供性的操控。为评估所提方法，我们构建了首个包含透明物体可供性与深度图的真实世界数据集 TRANS-AFF。大量实验表明，我们的方法可预测准确的可供性图，并相较最先进（SOTA）方法显著改进透明物体深度重建，以米为单位的均方根误差从 0.097 显著降至 0.042。此外，我们通过一系列透明物体机器人操控实验证明了所提方法的有效性。补充视频与结果见 https://sites.google.com/view/affordance4trans。
引用
@article{arxiv.2207.04907,
title = {A4T: Hierarchical Affordance Detection for Transparent Objects Depth Reconstruction and Manipulation},
author = {Jiaqi Jiang and Guanqun Cao and Thanh-Toan Do and Shan Luo},
journal= {arXiv preprint arXiv:2207.04907},
year = {2022}
}
备注
8 pages, 9 figures, Accepted by RAL-CASE2022