农业中基于音视频的树状结构接触分类

农业中包含丰富接触的操控任务，如修剪和收获，需要机器人与树状结构进行物理互动以 maneuver 通过密集的枝叶。识别机器人是否接触刚性或柔性材料对于下游操控策略的安全性至关重要，但由于非结构化环境中的遮挡和受限视角，视觉方法往往不足。为此，我们提出一种多模态分类框架，将振动式触觉（音频）和视觉输入融合，以识别接触类型：叶片、枝杈、树干或环境。我们的关键洞察在于，接触引起的振动携带材料特定的信号，使音频有效地用于检测接触事件并区分材料类型，而视觉特征则提供补充的语义线索，以支持更细粒度的分类。我们使用手持传感器探头收集训练数据，并演示了零样本推广至机器人安装式探头，实现F1分数0.82。这些结果凸显了音视频学习在非结构化、接触丰富环境中操控的潜力。