PanicleNeRF：基于智能手机的低成本高精度水稻穗田间表型分析
计算机视觉与模式识别
2024-08-06 v1
摘要
水稻穗性状显著影响籽粒产量，使其成为水稻表型研究的主要目标。然而，大多数现有技术局限于受控室内环境，难以在自然生长条件下捕获水稻穗性状。在此，我们开发了 PanicleNeRF，一种能够在田间利用智能手机高精度、低成本重建水稻穗三维（3D）模型的新方法。该方法结合大模型 Segment Anything Model（SAM）和小模型 You Only Look Once 版本 8（YOLOv8），实现了水稻穗图像的高精度分割。随后采用 NeRF 技术利用含 2D 分割的图像进行 3D 重建。最后，对生成的点云进行处理以成功提取穗性状。结果表明，PanicleNeRF 有效解决了 2D 图像分割任务，实现了 86.9% 的平均 F1 分数和 79.8% 的平均交并比（IoU），边界重叠（BO）性能几乎是 YOLOv8 的两倍。在点云质量方面，PanicleNeRF 显著优于传统 SfM-MVS（运动恢复结构与多视角立体）方法，如 COLMAP 和 Metashape。穗长随后被精确提取，籼稻的 rRMSE 为 2.94%，粳稻为 1.75%。从 3D 点云估计的穗体积与籽粒数量（籼稻 R² = 0.85，粳稻 R² = 0.82）和籽粒质量（籼稻 0.80，粳稻 0.76）高度相关。该方法为水稻穗的高通量田间表型分析提供了低成本解决方案，加速了水稻育种效率。
引用
@article{arxiv.2408.02053,
title = {PanicleNeRF: low-cost, high-precision in-field phenotypingof rice panicles with smartphone},
author = {Xin Yang and Xuqi Lu and Pengyao Xie and Ziyue Guo and Hui Fang and Haowei Fu and Xiaochun Hu and Zhenbiao Sun and Haiyan Cen},
journal= {arXiv preprint arXiv:2408.02053},
year = {2024}
}