Symphonies：以上下文实例查询协同三维语义场景补全
计算机视觉与模式识别
2023-11-23 v2 机器人学
摘要
三维语义场景补全(SSC)已成为自动驾驶中一个新兴且关键的课题，旨在预测体素场景中的占据情况。然而，现有方法主要关注体素级特征聚合，而忽视了实例语义与场景上下文。本文中，我们提出一种称为Symphonies（Scene-from-Insts）的新范式，深入探究实例查询的集成以协调2D到3D重建与3D场景建模。利用我们提出的串行实例传播注意力(Serial Instance-Propagated Attentions)，Symphonies动态编码以实例为中心的语义，促进基于图像与体素域之间的复杂交互。同时，Symphonies通过实例查询的高效融合捕获上下文，实现整体场景理解，并通过上下文场景推理缓解遮挡与透视误差等几何歧义。实验结果表明，Symphonies在具有挑战性的基准SemanticKITTI与SSCBench-KITTI-360上取得了最先进的性能，分别获得了15.04与18.58的显著mIoU分数。这些结果展示了该范式的可喜进展。代码见 https://github.com/hustvl/Symphonies。
引用
@article{arxiv.2306.15670,
title = {Symphonize 3D Semantic Scene Completion with Contextual Instance Queries},
author = {Haoyi Jiang and Tianheng Cheng and Naiyu Gao and Haoyang Zhang and Tianwei Lin and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:2306.15670},
year = {2023}
}
备注
Technical report. Code and models at: https://github.com/hustvl/Symphonies