面向4D LiDAR的LLM基准：时空理解
计算机视觉与模式识别
2026-05-13 v2
摘要
理解动态户外环境需要捕捉复杂对象之间的相互作用及其随时间的演变。LiDAR基于4D点云提供精确的空间几何和丰富的时序线索，使其成为表示真实场景的理想方式。然而，尽管其潜力巨大，4D LiDAR 在多模态大型语言模型(MLLMs)的上下文中仍未得到充分探索，这是由于缺乏高质量的、特定于模态的注释以及缺乏能够处理其高维组成的MLLMs架构。为解决这些挑战，我们引入B4DL，一个新基准，专为训练和评估MLLMs在4D LiDAR理解中而设计。此外，我们提出了一个可扩展的数据生成管道和一个MLLMs模型，首次直接处理原始4D LiDAR，通过将其与语言理解桥接。结合我们的数据集和基准，Our model 提供了一个用于动态户外环境时空推理的统一解决方案。我们提供渲染的4D LiDAR视频、生成的数据集以及在 diverse 场景中的推理输出，地址为：https://github.com/ccho4702/B4DL
引用
@article{arxiv.2508.05269,
title = {B4DL: A Benchmark for 4D LiDAR LLM in Spatio-Temporal Understanding},
author = {Changho Choi and Youngwoo Shin and Gyojin Han and Dong-Jae Lee and Junmo Kim},
journal= {arXiv preprint arXiv:2508.05269},
year = {2026}
}
备注
Accepted at ACM MM 2025