FruitNeRF：基于神经辐射场的统一水果计数框架

我们提出了FruitNeRF，一个统一的新型水果计数框架，利用最先进的视图合成方法直接在三维空间中计数任意水果类型。我们的框架接收由单目相机拍摄的无序姿态图像集合，并对每幅图像中的水果进行分割。为使系统独立于水果类型，我们采用了一个基础模型，可为任意水果生成二值分割掩码。利用RGB和语义两种模态，我们训练了一个语义神经辐射场。通过对隐式Fruit Field进行均匀体采样，我们获得仅含水果的点云。对提取的点云应用级联聚类后，我们的方法实现了精确的水果计数。神经辐射场的使用相较于物体追踪或光流等传统方法具有显著优势，因为计数本身被提升到了三维空间。我们的方法有效避免了水果的重复计数以及无关水果的误计数。我们在真实数据和合成数据集上评估了方法。真实数据集包含三棵苹果树及其人工计数真值，以及一个含单行和水果位置真值的基准苹果数据集；合成数据集则涵盖苹果、李子、柠檬、梨、桃子和芒果等多种水果类型。此外，我们评估了使用基础模型与使用U-Net进行水果计数的性能差异。