面向城市机器人的视听交通灯状态检测

我们提出了一种利用视觉和声音的多模态交通灯状态检测方法，从在城市环境中导航的四足机器人的视角出发。这是一个具有挑战性的问题，因为存在视觉遮挡和机器人运动产生的噪声。我们的方法将原始音频特征与由现有视觉检测器识别的边界框内红绿像素比率相结合。融合方法在给定时间范围内聚合多帧特征，提高了鲁棒性和适应性。结果表明，我们的方法有效解决了视觉遮挡的挑战，并且在机器人运动时超越了单模态解决方案的性能。本研究作为概念验证，突出了多模态感知在机器人技术中巨大但常被忽视的潜力。