基于VLM的精确驾驶：PRCV 2024 Drive LM挑战赛一等奖解决方案
计算机视觉与模式识别
2024-11-06 v1
摘要
本技术报告概述了我们在PRCV挑战赛中应用的方法，重点关注驾驶场景中的认知与决策。我们采用了InternVL-2.0，一个开创性的开源多模态模型，并通过优化模型输入和训练方法对其进行了增强。对于输入数据，我们策略性地拼接并格式化多视图图像。值得一提的是，我们使用了原始图像的坐标，未进行变换。在模型训练方面，我们首先在公开的自动驾驶场景数据集上对模型进行预训练，以增强其与挑战任务的对齐能力，随后在DriveLM-nuscenes数据集上进行微调。在微调阶段，我们创新性地修改了损失函数，以增强模型预测坐标值的精度。这些方法确保我们的模型在驾驶场景中具备先进的认知和决策能力。最终，我们的模型取得了0.6064的分数，在比赛最终结果中获得一等奖。
引用
@article{arxiv.2411.02999,
title = {Precise Drive with VLM: First Prize Solution for PRCV 2024 Drive LM challenge},
author = {Bin Huang and Siyu Wang and Yuanpeng Chen and Yidan Wu and Hui Song and Zifan Ding and Jing Leng and Chengpeng Liang and Peng Xue and Junliang Zhang and Tiankun Zhao},
journal= {arXiv preprint arXiv:2411.02999},
year = {2024}
}