PlantSegNeRF：一种基于联合通道NeRF的用于植物3D实例点云重建的few-shot、跨种类的方法，通过多视角图像实例匹配
计算机视觉与模式识别
2025-10-28 v3
摘要
植物点云的器官分割是实现高分辨率和准确提取器官级表型特征的前提。尽管深度学习的快速发展推动了大量关于植物点云分割的研究，但现有技术在分辨率、分割精度以及跨各种植物种类的通用性方面仍面临局限。本研究提出了一种新方法，称为植物分割神经辐射场（PlantSegNeRF），旨在直接从多视角RGB图像序列中为广泛植物种类生成高精度实例点云。PlantSegNeRF对多视角图像进行2D实例分割，以为每个器官生成对应的实例掩码。随后，使用专设计的实例匹配模块匹配并细化对应同一植物器官的多视角实例ID。开发了实例NeRF以渲染包含颜色、密度、语义和实例信息的隐式场景。最终根据体积密度将隐式场景转换为高精度的植物实例点云。结果表明，在点云语义分割任务中，PlantSegNeRF超过了常用方法，显示出在结构复杂的植物种类上在精确度、召回率、F1分数和IoU方面分别比第二名结果提高了16.1%、18.3%、17.8%和24.2%。更重要的是，PlantSegNeRF在植物点云实例分割任务中表现出显著优势。跨所有植物种类，平均在mPrec、mRec、mCov、mWCov方面分别提升了11.7%、38.2%、32.2%和25.3%。本研究扩展了器官级植物表型学，并为植物科学中大规模模型的开发提供了高通量的高质量3D数据供应方式。
引用
@article{arxiv.2507.00371,
title = {PlantSegNeRF: A few-shot, cross-species method for plant 3D instance point cloud reconstruction via joint-channel NeRF with multi-view image instance matching},
author = {Xin Yang and Ruiming Du and Hanyang Huang and Jiayang Xie and Pengyao Xie and Leisen Fang and Ziyue Guo and Nanjun Jiang and Yu Jiang and Haiyan Cen},
journal= {arXiv preprint arXiv:2507.00371},
year = {2025}
}