面向流式 RGB 视频的 DetAny4D：检测任意 4D 目标
计算机视觉与模式识别
2025-11-25 v1
摘要
可靠的 4D 对象检测，即在流式视频中的 3D 对象检测，对感知和理解真实世界至关重要。现有的开放式 4D 对象检测方法通常以帧为单位进行预测，而不建模时间一致性，或依赖复杂的多阶段管道，在级联阶段之间容易产生误差传播。由于缺乏捕获连续可靠 3D 边界框 (b-box) 标注的大规模数据集，这一领域的进展受到限制。为克服这些挑战，我们首先引入 DA4D 数据集，包含超过 28 万个序列，收录于多样化条件下高质量的 b-box 标注。基于 DA4D，我们提出 DetAny4D，一个开放式端到端框架，从序列输入直接预测 3D b-box。DetAny4D 融合来自预训练基础模型的多模态特征，设计几何感知时空解码器，以有效捕获空间和时间动态。此外，它采用多任务学习架构并配合专门的训练策略，以保持跨不同长度序列的全局一致性。大量实验表明，DetAny4D 实现了具竞争力的检测精度，并显著提升了时间稳定性，有效解决了 4D 对象检测中长期存在的抖动和不一致性问题。数据和代码将在接受后发布。
引用
@article{arxiv.2511.18814,
title = {DetAny4D: Detect Anything 4D Temporally in a Streaming RGB Video},
author = {Jiawei Hou and Shenghao Zhang and Can Wang and Zheng Gu and Yonggen Ling and Taiping Zeng and Xiangyang Xue and Jingbo Zhang},
journal= {arXiv preprint arXiv:2511.18814},
year = {2025}
}