PaSCo：具有不确定性感知的城市 3D 全景场景补全
计算机视觉与模式识别
2024-05-28 v2 人工智能
摘要
我们提出了全景场景补全任务，该任务通过实例级信息扩展了近期流行的语义场景补全任务，以产生对 3D 场景更丰富的理解。我们的 PSC 提案在来自稀疏多尺度补全的非空体素上利用了基于混合掩码的技术。虽然 SSC 文献忽略了不确定性，而不确定性对于机器人应用至关重要，但我们提出了一种高效的集成方法来估计 PSC 过程中的体素级和实例级不确定性。这是通过建立在多输入多输出（MIMO）策略上实现的，同时提高了性能，并以极少的额外计算量产生了更好的不确定性。此外，我们引入了一种聚合置换不变掩码预测的技术。我们的实验表明，在三个大规模自动驾驶数据集上，我们的方法在全景场景补全和不确定性估计方面均超越了所有基线。我们的代码和数据可在 https://astra-vision.github.io/PaSCo 获取。
引用
@article{arxiv.2312.02158,
title = {PaSCo: Urban 3D Panoptic Scene Completion with Uncertainty Awareness},
author = {Anh-Quan Cao and Angela Dai and Raoul de Charette},
journal= {arXiv preprint arXiv:2312.02158},
year = {2024}
}
备注
CVPR 2024 Oral - Best paper award candidate. Project page: https://astra-vision.github.io/PaSCo