基于神经场的神经触觉：用于手内操作的视觉-触觉感知

为了实现人类级别的灵巧性，机器人必须从多模态传感中推断空间感知，以对接触交互进行推理。在对手内新物体的操作过程中，这种空间感知涉及估计物体的位姿和形状。手内感知的现状主要依赖视觉，且局限于跟踪先验已知的物体。此外，操作过程中手内物体的视觉遮挡是不可避免的，这阻碍了当前系统突破无遮挡任务的限制。我们在多指手上结合视觉与触觉传感，以在手内操作过程中估计物体的位姿和形状。我们的方法 NeuralFeels 通过在线学习神经场来编码物体几何，并通过优化位姿图问题对其进行联合跟踪。我们在仿真和真实世界中研究了多模态手内感知，通过本体感受驱动的策略与不同物体进行交互。我们的实验表明，最终重建 F-score 达到 $81$%，平均位姿漂移为 $4.7\,\text{mm}$，在使用已知 CAD 模型时可进一步降至 $2.3\,\text{mm}$。此外，我们观察到，在严重视觉遮挡下，与仅视觉方法相比，我们在跟踪上可实现高达 $94$% 的改进。我们的结果表明，在手内操作中，触觉至少能改善视觉估计，甚至能在最佳情况下消除视觉估计的歧义。我们发布了包含 70 次实验的评估数据集 FeelSight，作为该领域基准测试的一步。我们由多模态传感驱动的神经表示可以作为推进机器人灵巧性的感知主干。视频可在我们的项目网站 https://suddhu.github.io/neural-feels/ 上找到。