4DPC$^2$hat：面向动态点云理解的失败感知引导学习
计算机视觉与模式识别
2026-05-29 v2
摘要
点云提供了对 3D 对象的紧凑且富有表达力的表示，最近被集成到多模态大语言模型 (MLLM) 中。然而，现有方法主要关注静态对象，而理解动态点云序列仍基本未被探索。这一局限主要源于缺乏大规模跨模态数据集以及在时空语境中建模运动的困难。为弥合这一差距，我们提出了 4DPChat，是首个专为动态点云理解而设计的 MLLM。为此，我们通过严谨的两阶段管道构建了大规模跨模态数据集 4DPChat-200K，包括拓扑一致的 4D 点构造和双层描述生成。数据集包含超过 44K 条动态物体序列、700K 条点云帧和 200K 条精选问答 (QA) 对，支持关于计数、时间关系、动作、空间关系和外观的询问。在框架核心，我们引入了增强 Mamba 的时序推理 MLLM 以捕获点云序列中的长程依赖与动态模式。进一步，我们提出了失败感知引导学习策略，通过迭代识别模型缺陷并生成针对性 QA 监督，以持续加强相应的推理能力。大量实验表明，4DPChat 在动作理解和时序推理方面显著优于现有模型，为 4D 动态点云理解奠定了强大的基础。
引用
@article{arxiv.2602.03890,
title = {4DPC$^2$hat: Towards Dynamic Point Cloud Understanding with Failure-Aware Bootstrapping},
author = {Xindan Zhang and Weilong Yan and Yufei Shi and Xuerui Qiu and Tao He and Ying Li and Ming Li and Hehe Fan},
journal= {arXiv preprint arXiv:2602.03890},
year = {2026}
}