MeshSegmenter：基于纹理合成的零样本网格语义分割

我们提出 MeshSegmenter，一个简单而有效的框架，用于零样本 3D 语义分割。该模型成功地将 2D 分割模型的强大能力扩展到 3D 网格，能够在 diverse 的网格和分割描述上提供精确的 3D 分割。具体而言，我们的模型利用 Segment Anything Model (SAM) 模型从由 3D 形状渲染而来的图像中对目标区域进行分割。鉴于纹理对于分割的重要性，我们还利用预训练的 stable diffusion 模型从 3D 形状生成带纹理的图像，并利用 SAM 对带纹理图像中的目标区域进行分割。纹理补充了形状信息，使得即使在几何不突出的区域（例如在车身网格中分割车门）也能实现精确的 3D 分割。为实现 3D 分割，我们从不同视角渲染 2D 图像并对带纹理和无纹理图像进行分割。最后，我们开发了一种多视角投票方案，将各种视角的 2D 分割结果和置信度得分整合到 3D 网格上，确保分割结果的 3D 一致性并消除特定视角的误差。通过这些创新，MeshSegmenter 在定量和定性方面都能提供稳定可靠的 3D 分割结果，凸显其作为 3D 零样本分割领域变革性工具的潜力。代码已公开于 \url{https://github.com/zimingzhong/MeshSegmenter}。