S$^2$-扩散：从实例级到类别级机器人操作技能的通用化
机器人学
2025-10-24 v3 人工智能
摘要
近期技能学习的进展推动了机器人操作的新高度，通过从实际数量的演示中学习复杂操作技能。然而，这些技能通常仅限于训练数据中展示的特定动作、对象和环境 _实例_，在迁移到同一类别的其他实例时存在困难。本文提出了开放词汇空间的 Spatial-Semantic Diffusion 策略（S-Diffusion），实现从实例级训练数据到类别级的泛化，使技能能够在同一类别的不同实例之间可transfer。我们表明，技能的功能方面可通过可提示的语义模块结合空间表示捕获。我们进一步提出利用深度估计网络，仅需单目 RGB 相机即可实现。该方法在大量机器人操作任务上进行评估与比较，包括仿真和实际环境。我们的结果表明，S-Diffusion 对类别无关因素的变化具有不变性，并且即使未在特定实例上训练，也能在同一类别的其他实例上实现令人满意的性能。项目网址：https://s2-diffusion.github.io。
引用
@article{arxiv.2502.09389,
title = {S$^2$-Diffusion: Generalizing from Instance-level to Category-level Skills in Robot Manipulation},
author = {Quantao Yang and Michael C. Welle and Danica Kragic and Olov Andersson},
journal= {arXiv preprint arXiv:2502.09389},
year = {2025}
}