从视频中理解颗粒：基于视觉-触觉学习的颗粒材料属性估计

颗粒材料（GMs）在日常生活中随处可见。理解其属性在农业和工业领域尤为重要。然而，现有方法需要专用的测量设备，并且需要大量人力来处理大量颗粒。在本文中，我们引入一种方法，通过颗粒材料与其交互的视频来估计颗粒大小和密度的相对值。该方法受到受触模型的启发，构建了一个视觉-触觉学习框架，揭示了颗粒材料属性与探针在颗粒材料中拖动时的视觉-触觉数据之间的强相关性。训练后，网络能够良好地将视觉模态映射到触觉信号，并在潜在嵌入中隐式表征颗粒属性的相对分布。因此，我们可以使用训练好的编码器来分析颗粒材料属性，而无需额外的感知模态和人工标注。所提出的颗粒属性估计器经过大量的对比和消融实验验证，其泛化能力也得到评估，并演示了在海滩上的实际应用。实验视频可在 \url{https://sites.google.com/view/gmwork/vhlearning} 查看。