基于 UAV 多视角倾斜成像结合 3DGS 和 SAM 模型的油菜生物量表型分析
计算机视觉与模式识别
2024-11-14 v1
摘要
油菜生物量估算对于优化作物生产力和育种策略至关重要。虽然基于 UAV 的成像推动了高通量表型分析，但当前方法往往依赖正射影像，难以应对复杂田间环境中的重叠叶片和结构信息不完整问题。本研究将 3D 高斯泼溅（3DGS）与分割一切模型（SAM）相结合，实现油菜的精确三维重建和生物量估算。利用来自 36 个角度的 UAV 多视角倾斜图像进行三维重建，SAM 模块增强了点云分割。随后将分割后的点云转换为点云体积，并通过线性拟合与实测生物量建立回归关系。结果表明，3DGS（7k 和 30k 迭代）提供了高精度，峰值信噪比（PSNR）分别为 27.43 和 29.53，训练时间分别为 7 分钟和 49 分钟。这一性能超过了运动恢复结构（SfM）和多级纹理神经辐射场（Mip-NeRF），展示了更高的效率。SAM 模块实现了高分割精度，平均交并比（mIoU）为 0.961，F1 得分为 0.980。此外，生物量提取模型的比较发现点云体积模型最准确，决定系数（R2）为 0.976，均方根误差（RMSE）为 2.92 g/株，平均绝对百分比误差（MAPE）为 6.81%，优于地块作物体积模型和单株作物体积模型。本研究突显了将 3DGS 与多视角 UAV 成像相结合用于改进生物量表型分析的潜力。
引用
@article{arxiv.2411.08453,
title = {Biomass phenotyping of oilseed rape through UAV multi-view oblique imaging with 3DGS and SAM model},
author = {Yutao Shen and Hongyu Zhou and Xin Yang and Xuqi Lu and Ziyue Guo and Lixi Jiang and Yong He and Haiyan Cen},
journal= {arXiv preprint arXiv:2411.08453},
year = {2024}
}