增强触觉的辐射场
计算机视觉与模式识别
2024-05-08 v1
摘要
我们提出了一种称为增强触觉辐射场 (TaRF) 的场景表示方法，将视觉与触觉融合于共享的三维空间中。该表示可用于估计给定场景中特定三维位置的视觉与触觉信号。我们通过收集照片和稀疏采集的触觉探针来捕获场景的TaRF。我们的 метод利用了两种洞见：(i) 基于普通摄像机的常见视觉触觉传感器可通过多视几何方法与图像注册；(ii) 视觉和结构相似的场景区域共享相同的触觉特征。我们利用这些洞见将触觉信号注册到捕获的视觉场景中，并训练一个条件扩散模型，该模型在给定从神经辐射场渲染的RGB-D图像的条件下，生成其对应的触觉信号。为评估我们的方法，我们收集了一个TaRF数据集。该数据集包含比以往真实世界数据集更多的触觉样本，为每个捕获的触觉信号提供了空间对齐的视觉信号。我们展示了跨模态生成模型的准确性，并证明了捕获的视觉-触觉数据的实用性在多个下游任务中。项目页面: https://dou-yiming.github.io/TaRF
引用
@article{arxiv.2405.04534,
title = {Tactile-Augmented Radiance Fields},
author = {Yiming Dou and Fengyu Yang and Yi Liu and Antonio Loquercio and Andrew Owens},
journal= {arXiv preprint arXiv:2405.04534},
year = {2024}
}
备注
CVPR 2024, Project page: https://dou-yiming.github.io/TaRF, Code: https://github.com/Dou-Yiming/TaRF/