基于相机-惯性测量单元融合的鲁棒路面分类新数据集与框架
计算机视觉与模式识别
2026-01-30 v2 人工智能
摘要
路面分类是环境感知预测性维护系统的关键使能技术。然而，由于传感模态有限以及缺乏环境多样性的数据集，现有的路面分类技术通常难以泛化到狭窄的运行条件之外。本文通过引入一个多模态框架来解决这些局限性，该框架使用轻量级双向交叉注意力模块融合图像和惯性测量，随后是一个自适应门控层，用于在领域偏移下调整模态贡献。鉴于当前基准测试的局限性，特别是在缺乏变异性方面，我们引入了ROAD，一个由三个互补子集组成的新数据集：(i) 使用黄金标准工业数据记录器同步的RGB-IMU流的真实世界多模态记录，涵盖不同的光照、天气和路面条件；(ii) 一个大型纯视觉子集，旨在评估在不利光照和异构采集设置下的鲁棒性；(iii) 一个合成子集，用于研究在难以实际获取的场景中的分布外泛化。实验表明，我们的方法在PVS基准测试上比之前的最先进水平提高了1.4个百分点，在我们的多模态ROAD子集上提高了11.6个百分点，并且在少数类上持续获得更高的F1分数。该框架在具有挑战性的视觉条件下（包括夜间、大雨和混合路面过渡）也表现出稳定的性能。这些发现表明，将经济实惠的相机和IMU传感器与多模态注意力机制相结合，为路面理解提供了一个可扩展、鲁棒的基础，尤其适用于环境多变性和成本限制阻碍高端传感套件采用的地区。
引用
@article{arxiv.2601.20847,
title = {A New Dataset and Framework for Robust Road Surface Classification via Camera-IMU Fusion},
author = {Willams de Lima Costa and Thifany Ketuli Silva de Souza and Jonas Ferreira Silva and Carlos Gabriel Bezerra Pereira and Bruno Reis Vila Nova and Leonardo Silvino Brito and Rafael Raider Leoni and Juliano Silva Filho and Valter Ferreira and Sibele Miguel Soares Neto and Samantha Uehara and Daniel Giacometti Amaral and João Marcelo Teixeira and Veronica Teichrieb and Cristiano Coelho de Araújo},
journal= {arXiv preprint arXiv:2601.20847},
year = {2026}
}