FruitNeRF++: 结合对比学习与神经辐射场的通用多水果计数方法
计算机视觉与模式识别
2025-05-27 v1 机器学习
摘要
我们引入了 FruitNeRF++，这是一种结合对比学习与神经辐射场的新颖水果计数方法，可从非结构化的果园输入照片中对水果进行计数。我们的工作基于 FruitNeRF，后者采用神经语义场结合特定水果的聚类方法。对每种水果类型进行适配的要求限制了该方法的适用性，并使其在实际应用中存在困难。为消除这一限制，我们设计了一个与形状无关的多水果计数框架，利用视觉基础模型预测的实例掩码来补充 RGB 和语义数据。这些掩码用于将每个水果的身份编码为实例嵌入，并存储于神经实例场中。通过对神经场进行体积采样，我们提取出嵌有实例特征的点云，该点云可以以与水果无关的方式进行聚类以获得水果计数。我们使用包含苹果、李子、柠檬、梨、桃子和芒果的合成数据集，以及一个真实世界的苹果基准数据集来评估我们的方法。结果表明，FruitNeRF++ 更易于控制，且与其他 state-of-the-art 方法相比表现优异。
引用
@article{arxiv.2505.19863,
title = {FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields},
author = {Lukas Meyer and Andrei-Timotei Ardelean and Tim Weyrich and Marc Stamminger},
journal= {arXiv preprint arXiv:2505.19863},
year = {2025}
}
备注
for project website, see https://meyerls.github.io/fruit_nerfpp