迈向更公平的公共交通：基于张量的实时多模态逃票与欺诈检测
软件工程
2025-10-03 v1
摘要
本研究提出了一种多模态系统，旨在通过分析闭路电视（CCTV）和音频数据来检测公共交通中的欺诈和逃票行为。该方案使用视频视觉变换器（ViViT）模型进行视频特征提取，使用音频频谱变换器（AST）进行音频分析。该系统实现了张量融合网络（TFN）架构，通过2重笛卡尔积显式建模单模态和双模态交互。这种先进的融合技术捕捉了视觉行为（如跟车、未授权进入）与音频线索（如收费交易声音）之间的复杂跨模态动态。该系统在自定义数据集上进行了训练和测试，在检测欺诈活动方面达到了89.5%的准确率、87.2%的精确率和84.0%的召回率，显著优于早期融合基线，并超过了交通欺诈检测领域通常报告的75%召回率。我们的消融研究表明，张量融合方法相比传统拼接方法在F1分数上提供了7.0%的提升，在召回率上提供了8.8%的提升。该方案支持实时检测，使公共交通运营商能够减少收入损失、提高乘客安全并确保运营合规。
引用
@article{arxiv.2510.02165,
title = {Towards fairer public transit: Real-time tensor-based multimodal fare evasion and fraud detection},
author = {Peter Wauyo and Dalia Bwiza and Alain Murara and Edwin Mugume and Eric Umuhoza},
journal= {arXiv preprint arXiv:2510.02165},
year = {2025}
}
备注
10 pages