基于大语言模型的边缘设备高效驾驶行为叙述与推理
人工智能
2024-10-01 v1 计算机视觉与模式识别
机器人学
摘要
深度学习架构具有强大的推理能力，推动了自动驾驶技术取得显著进展。应用于该领域的大型语言模型 (LLM) 能够以类似人类感知的准确度描述驾驶场景和行为，尤其在视觉任务方面表现突出。同时，边缘计算的快速发展凭借靠近数据源的优势，使其在自动驾驶中日益重要。边缘设备在本地处理数据，减少传输延迟和带宽使用，实现更快的响应速度。本文提出了一个将 LLM 应用于边缘设备的驾驶行为叙述与推理框架。该框架由多个路边单元组成，LLM 在每个单元上部署。这些路边单元收集路面数据，通过 5G NSR/NR 网络进行通信。我们的实验表明，部署在边缘设备上的 LLM 能够实现令人满意的响应速度。此外，我们提出了一种提示策略来增强系统的叙述和推理性能。该策略整合了包括环境、代理和运动数据在内的多模态信息。在 OpenDV-Youtube 数据集上进行的实验表明，我们的方法在两个任务上均显著提升了性能。
引用
@article{arxiv.2409.20364,
title = {Efficient Driving Behavior Narration and Reasoning on Edge Device Using Large Language Models},
author = {Yizhou Huang and Yihua Cheng and Kezhi Wang},
journal= {arXiv preprint arXiv:2409.20364},
year = {2024}
}
备注
Submitted for possible journal publication