Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

我们解决触觉定位的问题，即识别与触觉输入共享相同材料属性的图像区域。 现有的 visuo-tactile 方法依赖全局对齐，因而无法捕获此任务所需的细粒度局部对应关系。 挑战又因数据集主要包含近距离、低多样性的图像而加剧。 我们提出一种模型，通过稠密跨模态特征相互作用来学习局部 visuo-tactile 对齐，为触觉条件下的材料分割生成触觉显著性图。 为克服数据集限制，我们引入：(i) 包含野外多材料场景图像的图像，扩充视觉多样性；(ii) 一种材料多样性配对策略，将每个触觉样本与视觉上多样但触觉上一致的图像配对，提高上下文定位和对弱信号的鲁棒性。 我们还构建了两个新的触觉 grounding 材料分割数据集用于定量评估。 在新旧基准测试上的实验表明，我们的方法在触觉定位方面显著优于先前的 visuo-tactile 方法。