接地任务轴：通过任务轴控制器和视觉基础模型实现零样本语义技能泛化
机器人学
2025-05-20 v1
摘要
在不同物体之间迁移技能仍然是开放世界机器人操作的核心挑战之一。泛化需要考虑不同物体之间的高层结构差异，同时保持相似的低层交互控制。在本文中，我们提出了一种基于示例的零样本技能迁移方法。我们没有将技能视为原子性的，而是将技能分解为一个按优先级排序的接地任务轴（GTA）控制器列表。每个 GTAC 定义一个可适应的控制器，例如沿某个轴的位置或力控制器。重要的是，GTAC 接地于物体关键点和轴上，例如螺丝头的相对位置或其杆的轴线。因此，零样本迁移是通过在新颖目标物体上找到语义相似的接地特征来实现的。我们通过使用基础模型（如 SD-DINO）来实现这种基于示例的技能接地，该模型可以检测物体的语义相似关键点。我们在真实机器人实验上评估了我们的框架，包括拧螺丝、倾倒和刮铲任务，并展示了每种任务下鲁棒且通用的控制器迁移。
引用
@article{arxiv.2505.11680,
title = {Grounded Task Axes: Zero-Shot Semantic Skill Generalization via Task-Axis Controllers and Visual Foundation Models},
author = {M. Yunus Seker and Shobhit Aggarwal and Oliver Kroemer},
journal= {arXiv preprint arXiv:2505.11680},
year = {2025}
}