基于概率对比融合的全景提升方法 PCF-Lift
计算机视觉与模式识别
2024-10-15 v1
摘要
全景提升是解决 3D 全景分割任务的有效技术，通过从多视角反投影 2D 全景分割结果以实现 3D 场景。然而，其结果质量很大程度上取决于 2D 分割结果，而这些结果可能噪声大且易出错，因此在复杂场景下性能常显著下降。本文设计了基于概率对比融合 (PCF) 的新型管线，称为 PCF-Lift，通过在整个管线中学习和嵌入概率特征，以主动考虑不准确的分割以及不一致的实例 ID。技术方面，我们首先通过多元高斯分布建模概率特征嵌入。为融合概率特征，我们将概率乘积核引入对比损失公式中，并设计跨视图约束以增强不同视角间的特征一致性。对于推理，我们引入新的概率聚类方法，以有效将原型特征与 underlying 3D 物体实例关联，从而生成一致的全景分割结果。进一步，我们提供理论分析以论证所提概率解方案的优越性。通过开展大量实验，我们的 PCF-Lift 在包括 ScanNet 数据集和具有挑战性的 Messy Room 数据集在内的广泛使用基准测试中显著优于当前最先进的方法（场景级 PQ 提升 4.4%），并在集成各种 2D 分割模型或不同程度手工噪声时表现出强大的鲁棒性。
引用
@article{arxiv.2410.10659,
title = {PCF-Lift: Panoptic Lifting by Probabilistic Contrastive Fusion},
author = {Runsong Zhu and Shi Qiu and Qianyi Wu and Ka-Hei Hui and Pheng-Ann Heng and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2410.10659},
year = {2024}
}
备注
ECCV 2024. The code is publicly available at https://github.com/Runsong123/PCF-Lift