SignEye: 基于车辆第一人称视角的交通标志解读
计算机视觉与模式识别
2024-11-19 v1
摘要
交通标志在辅助自动驾驶系统 (ADS) 方面发挥着关键作用，它能够评估符合交通法规的车辆行为并提供导航指令。然而，当前的研究仅限于基础的标志理解，未考虑自车的空间位置，无法支持进一步的法规评估与方向导航。针对上述问题，我们引入了一项新任务：基于车辆第一人称视角的交通标志解读，简称为 TSI-FPV。同时，我们开发了一种交通引导助手 (TGA) 场景应用，以重新探索交通标志在 ADS 中的作用，作为主流自动驾驶技术（如障碍物感知）的补充。值得注意的是，TGA 并非电子地图导航的替代品；相反，TGA 可以作为一种自动工具，在离线条件或临时标志调整等情况下对其进行更新和补充。最后，我们构建了具备空间与语义逻辑感知的分步推理流水线 (SignEye) 以实现 TSI-FPV 和 TGA，并构建了专用数据集 (Traffic-CN)。实验表明，通过在 Traffic-CN 上训练的 SignEye 可以实现 TSI-FPV 和 TGA。结果还表明，TGA 能够为 ADS 提供超越现有主流自动驾驶技术的补充信息。
引用
@article{arxiv.2411.11507,
title = {SignEye: Traffic Sign Interpretation from Vehicle First-Person View},
author = {Chuang Yang and Xu Han and Tao Han and Yuejiao SU and Junyu Gao and Hongyuan Zhang and Yi Wang and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2411.11507},
year = {2024}
}