高级驾驶辅助系统中的视觉显著性检测
计算机视觉与模式识别
2023-08-09 v1 人工智能
图像与视频处理
摘要
视觉显著性是指人类将注意力聚焦于所观察环境并提取重要特征的内在机制。近来，在汽车研究领域，关于视觉显著性估计的兴趣显著增长。驾驶车辆时，驾驶员自然地将其注意力导向特定物体，运用脑驱动的显著性机制将某些元素优先于其他元素。在本研究中，我们提出了一种智能系统，将驾驶员 drowsiness 检测系统与基于显著性的场景理解流水线相结合。为此，我们实现了一个专用的3D深度网络用于语义分割，该网络经过预训练并定制以处理车规级外部摄像头捕获的帧。所提流水线托管于采用STA1295核心（配备ARM A7双核并嵌入硬件加速器）的嵌入式平台。此外，我们采用一种嵌入汽车方向盘的创新生物传感器监测驾驶员 drowsiness，采集驾驶员的光电容积描记(PhotoPlethysmoGraphy, PPG)信号。设计了一个专用的1D时序深度卷积网络对采集的PPG时间序列进行分类，从而评估驾驶员的注意力水平。最终，我们将确定的驾驶员注意力水平与相应的基于显著性的场景分类进行比较，以评估整体安全水平。所提流水线的有效性已通过大量实验结果得到验证。
引用
@article{arxiv.2308.03770,
title = {Visual Saliency Detection in Advanced Driver Assistance Systems},
author = {Francesco Rundo and Michael Sebastian Rundo and Concetto Spampinato},
journal= {arXiv preprint arXiv:2308.03770},
year = {2023}
}