基于预训练基础模型的 RGB-Event 超图提示用于公里标志识别
计算机视觉与模式识别
2026-02-26 v1 人工智能
摘要
火车运行于高度复杂的环境中，包括照明变化、高速运动和恶劣天气，这些因素为视觉感知系统带来挑战，尤其是仅依赖常规 RGB 相机的情况。为解决这些困难，我们探索将事件相机集成到感知系统中，利用其在低光条件、高速场景和低功耗方面的优势。具体而言，我们聚焦于公里标志识别（KMR），这是一种在 GNSS 被剥夺条件下进行自动 metro 定位的关键任务。在此背景下，我们提出基于预训练 RGB OCR 基础模型的鲁棒基线方法，通过多模态适应获得增强效果。此外，我们构建了第一个大规模 RGB-Event 数据集 EvMetro5K，包含 5,599 对同步 RGB-Event 样本，分为 4,479 个训练样本和 1,120 个测试样本。在 EvMetro5K 和其他广泛使用的基准上进行大量实验表明，我们的方法对 KMR highly effective。该数据集和源代码将发布于 https://github.com/Event-AHU/EvMetro5K_benchmark
关键词
引用
@article{arxiv.2602.22026,
title = {RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models},
author = {Xiaoyu Xian and Shiao Wang and Xiao Wang and Daxin Tian and Yan Tian},
journal= {arXiv preprint arXiv:2602.22026},
year = {2026}
}
备注
Accepted by IEEE Transactions on Cognitive and Developmental Systems (IEEE TCDS) 2026