PanopticQuery：4D场景的统一查询式推理
计算机视觉与模式识别
2026-04-08 v1
摘要
通过自然语言查询理解动态4D环境，不仅需要准确的场景重建，还需要在空间、时间和视角之间实现稳健的语义对齐。虽然最近的基于神经表示的方法在4D重建方面取得了进展，但在语义推理（尤其是复杂语义，如交互、时间动作和空间关系）方面仍受限。关键挑战在于将噪声且视角依赖的预测转化为全局一致的4D解释。我们提出PanopticQuery框架，用于4D场景的统一查询式推理。该方法基于4D高斯溶解实现高保真动态重建，引入多视角语义共识机制，通过聚合多个视角和时间帧中的2D语义预测来实现自然语言查询的语义 grounding。该过程过滤不一致的输出，确保几何一致性，并通过神经场优化将2D语义提升为结构化的4D grounding。为支持评估，我们提供Panoptic-L4D基准数据集，用于动态场景中的语言查询。实验表明，PanopticQuery在复杂语言查询任务上实现了新的状态（SOTA），有效处理属性、动作、空间关系和多对象交互。附录材料中提供了视频演示。
引用
@article{arxiv.2604.05638,
title = {PanopticQuery: Unified Query-Time Reasoning for 4D Scenes},
author = {Ruilin Tang and Yang Zhou and Zhong Ye and Wenxi Liu and Yan Huang and Shengfeng He},
journal= {arXiv preprint arXiv:2604.05638},
year = {2026}
}