基于接触条件引导的视觉-触觉图像生成
计算机视觉与模式识别
2024-12-03 v1
摘要
视觉-触觉传感器通过高分辨率光学测量，能够有效感知物体的几何形状以及接触过程中施加的力信息，从而帮助机器人获取更高维度的触觉数据。视觉-触觉传感器仿真支持在不依赖物理传感器的情况下获取和理解触觉信息，通过准确捕获和分析接触行为和物理属性。然而，接触动力学和光照建模的复杂性限制了在仿真中准确再现真实传感器响应，使得满足不同传感器配置的需求变得困难，影响了将策略可靠有效地迁移到实际应用的效果。本文提出一种基于接触条件引导的扩散模型，将物体的 RGB 图像和接触力数据映射到高保真、细节丰富的视觉-触觉传感器图像。评估表明，该方法生成的三通道触觉图像在均方误差上比基于光照模型和机械模型的现有方法降低了 60.58%，在标记位移误差上降低了 38.1%，验证了本方法的有效性。该方法成功应用于各种类型的触觉视觉传感器，可在复杂负载下有效生成相应的触觉图像。此外，该方法在一项蒙特梭利手感板纹理生成任务中展现了对物体细小纹理特征的卓越重建能力。
引用
@article{arxiv.2412.01637,
title = {AVS-Net: Audio-Visual Scale Net for Self-supervised Monocular Metric Depth Estimation},
author = {Xiaohu Liu and Sascha Hornauer and Fabien Moutarde and Jialiang Lu},
journal= {arXiv preprint arXiv:2412.01637},
year = {2024}
}