自然语言驱动的仿真基准与 Copilot：用于高效生成虚拟道路场景中的物体交互
计算机视觉与模式识别
2023-12-18 v4
摘要
我们倡导自然语言驱动（NLD）仿真的理念，以高效生成虚拟道路场景中多个物体之间的交互，用于教学和测试自动驾驶系统，这些系统应能迅速采取行动以避免与运动不可预测的障碍物发生碰撞。NLD 仿真允许使用简短的自然语言描述来控制物体交互，从而显著减少创建大量交互数据的人工工作量。为了促进 NLD 仿真的研究，我们收集了 Language-to-Interaction (L2I) 基准数据集，其中包含 6 种常见道路拓扑中物体交互的 120,000 个自然语言描述。每个描述都与编程代码相关联，图形渲染器可以使用这些代码在虚拟场景中视觉重建物体交互。作为方法论贡献，我们设计了 SimCopilot，用于将交互描述转换为可渲染的代码。我们使用 L2I 数据集评估了 SimCopilot 控制物体运动、生成复杂交互以及跨道路拓扑泛化交互的能力。L2I 数据集和评估结果推动了 NLD 仿真的相关研究。
引用
@article{arxiv.2312.04008,
title = {Natural-language-driven Simulation Benchmark and Copilot for Efficient Production of Object Interactions in Virtual Road Scenes},
author = {Kairui Yang and Zihao Guo and Gengjie Lin and Haotian Dong and Die Zuo and Jibin Peng and Zhao Huang and Zhecheng Xu and Fupeng Li and Ziyun Bai and Di Lin},
journal= {arXiv preprint arXiv:2312.04008},
year = {2023}
}
备注
12 pages, 6 figures