活动跨模态视觉-触觉变形线性物体感知
机器人学
2026-01-21 v1
摘要
本文提出了一种 novel 的跨模态视觉-触觉感知框架，用于变形线性物体（DLO）的 3D 形状重建，特别关注受严重视觉遮挡的电缆。与依赖主要视觉的现有方法不同，后者在光照变化、背景杂乱或部分可见性下性能会下降，本方法将 foundation 模型驱动的视觉感知与自适应触觉探索相结合。视觉管道利用 SAM 进行实例分割和 Florence 进行语义细化，随后进行骨架化、端点检测和点云提取。遮挡的电缆段可自动识别并以触觉传感器进行探索，后者提供的局部点云通过欧几里得聚类和拓扑保持融合与视觉数据合并。以端点引导的点排序驱动的 B 样条插值，生成光滑且完整的电缆形状重建。使用装有 RGB-D 相机和触觉垫的机器人机械臂进行实验验证，表明该框架能够准确重建简单和高度弯曲的单根或多根电缆配置，即使大部分被遮挡。这些结果凸显了 foundation 模型增强的跨模态感知在先进机器人操作变形物体方面的潜力。
引用
@article{arxiv.2601.13979,
title = {Active Cross-Modal Visuo-Tactile Perception of Deformable Linear Objects},
author = {Raffaele Mazza and Ciro Natale and Pietro Falco},
journal= {arXiv preprint arXiv:2601.13979},
year = {2026}
}