多模态基于摄像头的易瘫人士检测
计算机视觉与模式识别
2025-09-09 v1 机器人学
摘要
易瘫人士（VRUs），包括行人、骑自行车者和摩托车手，占据全球交通死亡总数的半数以上，但在光线不足、恶劣天气和数据集不平衡的情况下，其检测仍具有挑战性。本文提出一种多模态检测框架，将整合RGB和热红外成像，采用微调的YOLOv8模型。训练数据来源于 KITTI、BDD100K 和 Teledyne FLIR 数据集，采用类别再加权和轻度增强以提高少数类别的性能和鲁健性。实验表明，640像素分辨率和部分主干冻结可优化精度与效率，而类别加权损失可提升稀有VRUs的召回率。结果表明，热红外模型实现了最高的精度，RGB到热红外的增强提升了召回率，显示明确了多模态检测在提升交叉口VRUs安全性方的潜力。
引用
@article{arxiv.2509.06333,
title = {Multi-Modal Camera-Based Detection of Vulnerable Road Users},
author = {Penelope Brown and Julie Stephany Berrio Perez and Mao Shan and Stewart Worrall},
journal= {arXiv preprint arXiv:2509.06333},
year = {2025}
}