神经注意力场：3D场景中用于单次灵巧抓取的点相关性涌现
机器人学
2024-10-31 v1 计算机视觉与模式识别
摘要
将灵巧抓取策略单次迁移到具有物体和场景变化的新场景中一直是一个具有挑战性的问题。虽然来自大型视觉模型的蒸馏特征场已能在3D场景中实现语义对应，但其特征是点式的且局限于物体表面，限制了其建模手-物体交互中复杂语义特征分布的能力。在本工作中，我们提出神经注意力场，通过建模点间相关性而非单个点特征来表示3D空间中具有语义意识的稠密特征场。其核心是一个Transformer解码器，用于计算任意3D查询点与所有场景点之间的交叉注意力，并通过基于注意力的聚合提供查询点特征。我们进一步提出了一种自监督框架，仅使用少量3D点云且无需手部示教即可训练Transformer解码器。训练完成后，注意力场可应用于新场景，实现基于单次示教的语义感知灵巧抓取。实验表明，我们的方法通过鼓励末端执行器聚焦于任务相关场景区域，提供了更优的优化景观，从而在真实机器人上相比基于特征场的方法取得了显著的成功率提升。
引用
@article{arxiv.2410.23039,
title = {Neural Attention Field: Emerging Point Relevance in 3D Scenes for One-Shot Dexterous Grasping},
author = {Qianxu Wang and Congyue Deng and Tyler Ga Wei Lum and Yuanpei Chen and Yaodong Yang and Jeannette Bohg and Yixin Zhu and Leonidas Guibas},
journal= {arXiv preprint arXiv:2410.23039},
year = {2024}
}