CountingFruit：基于语义高斯泼溅的语言引导 3D 水果计数
计算机视觉与模式识别
2025-08-08 v3 人工智能
多媒体
摘要
由于严重的遮挡、水果与周围结构之间的语义模糊性，以及体积重建的高计算成本，在果园中进行精确的 3D 水果计数极具挑战性。现有流水线通常依赖多视角 2D 分割与密集体积采样，这会导致融合误差累积且推理缓慢。我们引入了 FruitLangGS，这是一个语言引导的 3D 水果计数框架，它使用具有半径感知剪枝和基于分块光栅化的自适应密度高斯泼溅流水线重建果园尺度场景，从而实现可扩展的 3D 表征。在推理过程中，嵌入在每个高斯中的压缩 CLIP 对齐语义向量通过双阈值余弦相似度机制进行过滤，检索与目标提示相关的高斯，同时抑制常见干扰物（例如树叶），而无需重新训练或图像空间掩码。随后，选定的高斯被采样为密集点云并进行几何聚类以估计水果实例，在严重遮挡和视角变化下仍保持鲁棒性。在九个不同的果园尺度数据集上的实验表明，FruitLangGS 在实例计数召回率上始终优于现有流水线，避免了多视角分割融合误差，并在 Pfuji-Size_Orch2018 果园数据集上实现了高达 99.7% 的召回率。消融研究进一步证实，语言条件语义嵌入和双阈值提示过滤对于抑制干扰物和提高严重遮挡下的计数准确性至关重要。除水果计数外，同一框架无需重新训练即可实现提示驱动的 3D 语义检索，凸显了语言引导 3D 感知在可扩展农业场景理解中的潜力。
引用
@article{arxiv.2506.01109,
title = {CountingFruit: Language-Guided 3D Fruit Counting with Semantic Gaussian Splatting},
author = {Fengze Li and Yangle Liu and Jieming Ma and Hai-Ning Liang and Yaochun Shen and Huangxiang Li and Zhijing Wu},
journal= {arXiv preprint arXiv:2506.01109},
year = {2025}
}