分割任意3D高斯

本文提出了SAGA（Segment Any 3D GAussians），一种基于3D高斯泼溅（3D-GS）的高效3D可提示分割方法。给定2D视觉提示作为输入，SAGA可以在4毫秒内分割由3D高斯表示的相应3D目标。这是通过为每个3D高斯附加一个尺度门控亲和特征来实现的，赋予其面向多粒度分割的新属性。具体来说，提出了一种尺度感知对比训练策略用于尺度门控亲和特征学习。它1）将Segment Anything Model（SAM）从2D掩码的分割能力蒸馏到亲和特征中，2）采用软尺度门控机制，通过根据指定的3D物理尺度调整每个特征通道的幅度，来处理3D分割中的多粒度模糊性。评估表明，SAGA实现了与最先进方法质量相当的实时多粒度分割。作为首批解决3D-GS中可提示分割问题的方法之一，SAGA的简洁性和有效性为该领域的未来发展铺平了道路。我们的代码将发布。