基于机器人操纵的3D功能可获得性关键点检测
机器人学
2025-12-01 v1
摘要
本文提出一种新方法，通过引入3D关键点来增强对对象部件功能性理解，从而实现功能感知的机器人操纵。该方法直接提供关于对象潜在用途的信息，以及关于操纵器应如何定位和如何与之互动的指导，而传统方法则将功能检测视为语义分割任务，仅关注回答"什么"问题。为弥合这一差距，我们提出了基于融合的功能关键点网络（FAKP-Net），通过引入3D关键点四元组，充分利用RGB和深度图像的协同潜力，提供关于执行位置、方向和范围的信息。基准测试结果表明，FAKP-Net在功能分割任务和关键点检测任务上均显著优于现有模型。实际环境实验也展示了该方法在处理以前未见过的对象时能够可靠地完成操纵任务。
引用
@article{arxiv.2511.22195,
title = {3D Affordance Keypoint Detection for Robotic Manipulation},
author = {Zhiyang Liu and Ruiteng Zhao and Lei Zhou and Chengran Yuan and Yuwei Wu and Sheng Guo and Zhengshen Zhang and Chenchen Liu and Marcelo H Ang},
journal= {arXiv preprint arXiv:2511.22195},
year = {2025}
}
备注
Accepted to IROS 2024