雨天视觉里程计性能及面向边缘的高效 DNN 雨分类
机器人学
2025-02-12 v2 人工智能
摘要
安全可靠的无人机飞行器的开发依赖于系统能够基于传感器输入识别和适应当地环境的变化。状态的最佳局部跟踪和轨迹规划通常使用相机传感器输入至飞行控制算法，但环境扰动如雨对这些系统性能的影响尚未为人所知。在本文中，我们首先描述了开发一个包含约 335k 张图像的数据集，以检验这些影响，涵盖七种不同的降雨类别，并表明状态的视觉里程计系统 (VINS-Fusion) 在最坏情况下平均跟踪误差可达 1.5 m。随后，我们使用该数据集训练一组适用于移动和受限部署场景的深度神经网络模型，以确定在资源受限和延迟敏感系统中高效准确地对这些“雨天”条件进行分类的可能性。最轻量级的模型 (MobileNetV3 small) 可实现 90% 的准确率，仅占 1.28 MB 内存，帧率达 93 FPS，适用于资源受限和延迟敏感的系统。我们演示了在典型飞行计算机硬件上实现的分类延迟可达毫秒级。因此，这种模型可以输入到自主飞行控制器的扰动估计组件中。此外，来自能够准确确定环境条件的无人机数据可能有助于开发更细粒度、及时且局部化的天气预报。
引用
@article{arxiv.2407.12663,
title = {Is That Rain? Understanding Effects on Visual Odometry Performance for Autonomous UAVs and Efficient DNN-based Rain Classification at the Edge},
author = {Andrea Albanese and Yanran Wang and Davide Brunelli and David Boyle},
journal= {arXiv preprint arXiv:2407.12663},
year = {2025}
}