UniAff: 面向工具使用和关节运动的统一 affordance 表示
机器人学
2025-02-10 v2
摘要
先前的机器人操作研究基于对底层3D运动约束和affordance的有限理解。为此，我们提出了一种综合范式，称为UniAff，将3D对象中心化的操作与任务理解集成到统一的框架中。具体而言，我们构建了一个包含19类关节对象（共900个）和12类工具（共600个）的标注了操作相关关键属性的数据集。进一步，我们利用大型多模态语言模型 (MLLM) 推断操作任务的对象中心化表示，包括affordance识别和对3D运动约束的推理。综合实验表明，UniAff在工具和关节对象的机器人操作泛化能力方面显著提升。我们希望UniAff将作为面向未来统一机器人操作任务的通用基线。图像、视频、数据集和代码已发布于项目网站：https://sites.google.com/view/uni-aff/home
引用
@article{arxiv.2409.20551,
title = {UniAff: A Unified Representation of Affordances for Tool Usage and Articulation with Vision-Language Models},
author = {Qiaojun Yu and Siyuan Huang and Xibin Yuan and Zhengkai Jiang and Ce Hao and Xin Li and Haonan Chang and Junbo Wang and Liu Liu and Hongsheng Li and Peng Gao and Cewu Lu},
journal= {arXiv preprint arXiv:2409.20551},
year = {2025}
}
备注
ICRA 2025