SAM2Point：以零样本和可提示方式将任意 3D 作为视频进行分割
计算机视觉与模式识别
2024-08-30 v1 人工智能
计算与语言
摘要
我们介绍了 SAM2Point，这是一种将 Segment Anything Model 2 (SAM 2) 适配于零样本和可提示 3D 分割的初步探索。SAM2Point 将任何 3D 数据解释为一系列多方向视频，并利用 SAM 2 进行 3D 空间分割，无需额外训练或 2D-3D 投影。我们的框架支持多种提示类型，包括 3D 点、框和掩码，并且能够泛化到各种场景，如 3D 物体、室内场景、室外环境和原始稀疏 LiDAR。在多个 3D 数据集（如 Objaverse、S3DIS、ScanNet、Semantic3D 和 KITTI）上的演示突显了 SAM2Point 强大的泛化能力。据我们所知，我们提出了 SAM 在 3D 中最忠实的实现，可作为未来可提示 3D 分割研究的起点。在线演示：https://huggingface.co/spaces/ZiyuG/SAM2Point 。代码：https://github.com/ZiyuGuo99/SAM2Point 。
引用
@article{arxiv.2408.16768,
title = {SAM2Point: Segment Any 3D as Videos in Zero-shot and Promptable Manners},
author = {Ziyu Guo and Renrui Zhang and Xiangyang Zhu and Chengzhuo Tong and Peng Gao and Chunyuan Li and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2408.16768},
year = {2024}
}
备注
Work in progress. Online Demo: https://huggingface.co/spaces/ZiyuG/SAM2Point . Code: https://github.com/ZiyuGuo99/SAM2Point