iMotion-LLM：指令条件化的轨迹生成
计算机视觉与模式识别
2025-12-08 v3
摘要
我们介绍了iMotion-LLM，一个与轨迹预测模块集成的大语言模型（LLM），用于交互式运动生成。与传统方法不同，它基于文本指令生成可行、安全对齐的轨迹，从而实现适应性强且上下文感知的驾驶行为。它结合了一个编码器-解码器多模态轨迹预测模型和一个使用LoRA微调的预训练LLM，将场景特征投影到LLM输入空间，并将特殊标记映射到轨迹解码器，以实现基于文本的交互和可解释的驾驶。为了支持这一框架，我们引入了两个数据集：1) InstructWaymo，Waymo开放运动数据集的扩展，带有基于方向的运动指令；2) Open-Vocabulary InstructNuPlan，具有安全对齐的指令-描述对和相应的安全轨迹场景。我们的实验验证了指令条件化能够实现遵循预期条件的轨迹生成。iMotion-LLM展示了强大的上下文理解能力，在方向可行性检测中达到84%的平均准确率，在开放词汇指令的安全评估中达到96%的平均准确率。这项工作为自动驾驶中的文本引导运动生成奠定了基础，支持模拟数据生成、模型可解释性以及轨迹生成模型的鲁棒安全对齐测试。我们的代码、预训练模型和数据集可在以下网址获取：https://vision-cair.github.io/iMotion-LLM/。
引用
@article{arxiv.2406.06211,
title = {iMotion-LLM: Instruction-Conditioned Trajectory Generation},
author = {Abdulwahab Felemban and Nussair Hroub and Jian Ding and Eslam Abdelrahman and Xiaoqian Shen and Abduallah Mohamed and Mohamed Elhoseiny},
journal= {arXiv preprint arXiv:2406.06211},
year = {2025}
}