PASG：机器人操作中几何基元自动提取与语义锚定的闭环框架
计算机视觉与模式识别
2025-08-11 v1 机器人学
摘要
高层任务语义与低层几何特征之间的割裂一直是机器人操作中持续存在的挑战。尽管视觉语言模型（VLMs）在生成可供性感知的视觉表示方面展现出潜力，但缺乏在规范空间中的语义基础以及对人工标注的依赖，严重限制了其捕捉动态语义-可供性关系的能力。为解决这些问题，我们提出了基元感知语义基础（PASG），这是一个闭环框架，包含：（1）通过几何特征聚合自动提取基元，实现跨类别的关键点与轴检测；（2）VLM 驱动的语义锚定，将几何基元与功能可供性及任务相关描述进行动态耦合；（3）一个空间语义推理基准与一个微调的 VLM（Qwen2.5VL-PA）。我们在多种场景下的实际机器人操作任务中验证了 PASG 的有效性，其性能可与人工标注相媲美。PASG 实现了对物体更细粒度的语义-可供性理解，为在机器人操作中桥接几何基元与任务语义确立了统一范式。
引用
@article{arxiv.2508.05976,
title = {PASG: A Closed-Loop Framework for Automated Geometric Primitive Extraction and Semantic Anchoring in Robotic Manipulation},
author = {Zhihao Zhu and Yifan Zheng and Siyu Pan and Yaohui Jin and Yao Mu},
journal= {arXiv preprint arXiv:2508.05976},
year = {2025}
}
备注
Accepted to ICCV 2025. 8 pages main paper, 8 figures, plus supplementary material