基于知识蒸馏与文本-点关联的开放词汇可供性检测
机器人学
2023-09-21 v1
摘要
可供性检测（affordance detection）提出了复杂的挑战，并具有广泛的机器人应用。以往工作面临诸多局限，例如三维物体形状的复杂性、真实世界物体上潜在可供性的广泛范围，以及缺乏用于可供性理解的开放词汇支持。在本文中，我们提出一种在三维点云中的新型开放词汇可供性检测方法，利用知识蒸馏与文本-点关联。我们的方法通过知识蒸馏采用预训练的三维模型，以增强三维点云中的特征提取与语义理解。我们进一步引入一种新的文本-点关联方法，以学习点云特征与开放词汇标签之间的语义联系。大量实验表明，我们的方法优于以往工作，并能适应新的可供性标签与未见过物体。值得注意的是，与基线相比，我们的方法在 mIOU 分数上实现了 7.96% 的提升。此外，它提供实时推理，非常适用于机器人操作应用。
引用
@article{arxiv.2309.10932,
title = {Open-Vocabulary Affordance Detection using Knowledge Distillation and Text-Point Correlation},
author = {Tuan Van Vo and Minh Nhat Vu and Baoru Huang and Toan Nguyen and Ngan Le and Thieu Vo and Anh Nguyen},
journal= {arXiv preprint arXiv:2309.10932},
year = {2023}
}
备注
8 pages