三维点云中的开放词汇可供性检测
机器人学
2023-07-25 v5 人工智能
计算机视觉与模式识别
摘要
可供性检测是一个具有广泛机器人应用挑战性的问题。传统的可供性检测方法受限于预定义的一组可供性标签,因此可能限制智能机器人在复杂动态环境中的适应性。本文提出开放词汇可供性检测(OpenAD)方法,能够在三维点云中检测无界数量的可供性。通过同时学习可供性文本与点特征,OpenAD 成功利用了可供性之间的语义关系。因此,我们提出的方法实现了零样本检测,并能在无任何标注样例的情况下检测先前未见的可供性。大量实验结果表明,OpenAD 在多种可供性检测设定下均有效,并以较大优势优于其他基线。此外,我们以快速推理速度(~100ms)展示了所提 OpenAD 在真实机器人应用中的实用性。我们的项目见 https://openad2023.github.io。
引用
@article{arxiv.2303.02401,
title = {Open-Vocabulary Affordance Detection in 3D Point Clouds},
author = {Toan Nguyen and Minh Nhat Vu and An Vuong and Dzung Nguyen and Thieu Vo and Ngan Le and Anh Nguyen},
journal= {arXiv preprint arXiv:2303.02401},
year = {2023}
}
备注
Accepted at The 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2023)