Contrastive Lift：基于慢-快对比融合的三维物体实例分割
计算机视觉与模式识别
2023-12-05 v2 人工智能
机器学习
摘要
三维实例分割由于缺乏大规模标注数据集而是一项具有挑战性的任务。在本文中，我们表明该任务可通过利用二维预训练实例分割模型来有效解决。我们提出了一种新颖的方法，将二维分割提升（lift）到三维，并通过神经场表示进行融合，从而鼓励跨帧的多视图一致性。我们方法的核心是一个慢-快聚类目标函数，它具有可扩展性且非常适用于包含大量物体的场景。与以往方法不同，我们的方法不需要物体数量的上界，也不需要在帧间进行物体跟踪。为展示慢-快聚类的可扩展性，我们创建了一个名为 Messy Rooms 的新半真实数据集，其场景每个最多包含 500 个物体。我们的方法在来自 ScanNet、Hypersim 和 Replica 数据集的挑战性场景以及我们新创建的 Messy Rooms 数据集上均优于当前最优（SOTA）方法，证明了我们慢-快聚类方法的有效性和可扩展性。
引用
@article{arxiv.2306.04633,
title = {Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion},
author = {Yash Bhalgat and Iro Laina and João F. Henriques and Andrew Zisserman and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2306.04633},
year = {2023}
}
备注
NeurIPS 2023 (Spotlight). Code: https://github.com/yashbhalgat/Contrastive-Lift