MTP: 基于模态增强与光谱融合的多模态城市交通轮廓探索
人工智能
2025-11-18 v2
摘要
在现代快速城市化背景下, 来自各种传感器的交通信号正在发挥在确保安全出行、减少交通拥堵和优化城市灵活性方面发挥重要作用. 现有大多数交通信号建模方法通常依赖于原始数据模态, 即来自城市传感器的数值直接读数. 然而, 这种单模态方法忽略了来自不同视角中异构多模态城市数据的语义信息, 限制了对交通信号的全面理解, 并限制了对复杂交通动力学的准确预测. 为了解决这一问题, 我们提出了一种新型多模态框架 MTP, 用于城市交通轮廓, 通过数值、视觉和文本三个角度学习多模态特征. 三个分支驱动城市交通信号在频域的多模态视角学习, 而频率学习策略细致地细化信息提取. 具体而言, 我们首先对交通信号进行视觉增强, 将原始模态转换为频率图像和周期性图像进行视觉学习. 同时, 基于特定主题、背景信息和项目描述为交通信号增补描述性文本进行文本学习. 为补充数值信息, 我们利用频率多层感知器对原始模态进行学习. 我们设计了基于三个分支的分层对比学习, 以融合三个模态的光谱. 最终, 在六个真实世界数据集上的大量实验表明, 与最新方法相比, MTP 在性能上具有优势.
引用
@article{arxiv.2511.10218,
title = {MTP: Exploring Multimodal Urban Traffic Profiling with Modality Augmentation and Spectrum Fusion},
author = {Haolong Xiang and Peisi Wang and Xiaolong Xu and Kun Yi and Xuyun Zhang and Quanzheng Sheng and Amin Beheshti and Wei Fan},
journal= {arXiv preprint arXiv:2511.10218},
year = {2025}
}