基于多模态课程学习方法的无人机故障安全人体检测
计算机视觉与模式识别
2021-09-29 v1 机器人学
摘要
无人机当前正被探索用于安全关键应用，其中人类操作员预期在其邻近活动。在此类应用中，必须通过融合多种传感模态来提供鲁棒的避人能力以避免碰撞。然而目前，无人机上所用的人体检测系统仅基于标准相机，除少数新兴工作探讨成像相机与事件相机融合外。另一方面，基于雷达的系统对环境条件具有极高鲁棒性，但自身不提供完整信息，且主要在汽车场景而非无人机中被研究。为启用雷达与事件相机及标准相机的融合，我们提出 KUL-UAVSAFE，首个用于无人机安全关键人体检测研究的此类数据集。此外，我们提出一种带交叉融合通道的基线 CNN 架构，并引入称为 SAUL 的面向多模态数据的课程学习策略，其极大增强了系统对困难 RGB 失效的鲁棒性，并相较先前为交叉融合网络提出的 BlackIn 在峰值 F1 分数上取得 15% 的显著提升。我们通过在边缘计算单元中实现该系统，展示了该方法的实时性能与可行性。我们在项目主页发布数据集及附加材料。
引用
@article{arxiv.2109.13666,
title = {Fail-Safe Human Detection for Drones Using a Multi-Modal Curriculum Learning Approach},
author = {Ali Safa and Tim Verbelen and Ilja Ocket and André Bourdoux and Francky Catthoor and Georges G. E. Gielen},
journal= {arXiv preprint arXiv:2109.13666},
year = {2021}
}