面向智能交通系统的多模态大语言模型
机器学习
2024-12-17 v1
摘要
在交通系统不断发展的背景下，集成大语言模型（LLM）为推进各种应用中的智能决策提供了一个有前景的前沿。本文介绍了一个新颖的三维框架，涵盖了应用、机器学习方法和硬件设备的交叉点，特别强调了LLM的作用。我们的框架不使用多种机器学习算法，而是采用单一、以数据为中心的LLM架构，能够分析时间序列、图像和视频。我们探讨了LLM如何增强交通中的数据解释和决策。我们将此LLM框架应用于不同的传感器数据集，包括来自Oxford Radar RobotCar、D-Behavior (D-Set)、nuScenes by Motional和Comma2k19的时间序列数据和视觉数据。目标是简化数据处理流程，降低部署多个模型的复杂性，并使智能交通系统更加高效和准确。该研究使用最先进的硬件进行，利用AMD RTX 3060 GPU和Intel i9-12900处理器的计算能力。实验结果表明，我们的框架在这些数据集上实现了平均91.33%的准确率，其中时间序列数据的准确率最高（92.7%），展示了模型在处理运动规划和预测性维护等任务所必需的顺序信息方面的能力。通过我们的探索，我们展示了LLM在交通领域处理多模态数据的多功能性和有效性，最终提供了对其在现实场景中应用的见解。我们的发现与更广泛的会议主题一致，突出了LLM在推进交通技术方面的变革潜力。
引用
@article{arxiv.2412.11683,
title = {Multimodal LLM for Intelligent Transportation Systems},
author = {Dexter Le and Aybars Yunusoglu and Karn Tiwari and Murat Isik and I. Can Dikmen},
journal= {arXiv preprint arXiv:2412.11683},
year = {2024}
}
备注
Accepted at IEEE Symposium Series on Computational Intelligence (SSCI) 2025