基于全局到局部 RGB-D 自适应的仿真到真实抓取检测

本文聚焦于 RGB-D 抓取检测的仿真到真实（sim-to-real）问题，并将其形式化为一个领域自适应问题。针对此问题，我们提出一种全局到局部方法，以解决 RGB 与深度数据中的混合领域差异以及多模态特征对齐不足的问题。首先，采用自监督旋转预训练策略为 RGB 和深度网络提供稳健的初始化。然后，我们提出一个全局到局部对齐流程，其中包含针对 RGB 和深度图像场景特征的独立全局领域分类器，以及一个专门处理两种模态中抓取特征的局部领域分类器。特别地，我们提出了一个抓取原型自适应模块，旨在通过在训练过程中动态更新和匹配来自仿真与真实场景的抓取原型，促进细粒度的局部特征对齐。得益于这些设计，所提方法大幅减少了领域偏移，从而带来持续的性能提升。在 GraspNet-Planar 基准和物理环境中进行了大量实验，取得了优越的结果，证明了我们方法的有效性。