基于人-物体交互学习的粒度感知 affordance 用于工具式功能灵巧抓取
摘要
为了使机器人能够使用工具，初始步骤是教导机器人对特定区域进行灵巧姿势，以完成特定任务。对象affordance特征在代理人与对象之间的功能交互中起到桥梁作用。然而，如何利用这些affordance线索帮助机器人实现功能工具抓取仍然是未解决的问题。为此，我们提出了一种用于定位功能affordance区域并预测灵巧粗略姿势的粒度感知affordance特征提取方法。我们研究了人类工具使用的内在机制。一方面，我们使用对象功能指尖接触区域的细粒度affordance特征来定位功能affordance区域。另一方面，我们使用手-物体交互区域中高度激活的粗粒度affordance特征来预测抓取姿势。此外，我们引入一个基于模型的后处理模块，将affordance定位和姿势预测转换为可执行的机器人动作。由此形成GAAF-Dex框架，从人-物体交互中学习粒度感知affordance，以实现灵巧手的工具式功能抓取。与需要大量数据标注的全监督方法不同，我们采用弱监督方法从外观（Exo）图像中提取相关线索，以监督内观（Ego）图像中的特征提取。为支持该方法，我们构建了一个小规模数据集，功能affordance手-物体交互数据集（FAH），包括近6000张功能手-物体交互的外观图像和内观图像。对该数据集上的大量实验表明，我们的方法在SOTA方法方面表现更佳。源代码和建立的数据集均可在https://github.com/yangfan293/GAAF-DEX 获取。
关键词
引用
@article{arxiv.2407.00614,
title = {Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Dexterous Grasping},
author = {Fan Yang and Wenrui Chen and Kailun Yang and Haoran Lin and Dongsheng Luo and Conghui Tang and Zhiyong Li and Yaonan Wang},
journal= {arXiv preprint arXiv:2407.00614},
year = {2025}
}
备注
Accepted to IEEE Transactions on Neural Networks and Learning Systems (TNNLS). The source code and the established dataset are available at https://github.com/yangfan293/GAAF-DEX