IPENS：基于 NeRF-SAM2 融合的交互式无监督植物表型快速提取框架
计算机视觉与模式识别
2025-05-21 v1
摘要
先进的植物表型技术在针对性改良和加速智能育种中发挥着关键作用。由于植物的物种多样性，现有方法高度依赖大规模高精度的手动标注数据。对于粒子水平的自遮挡对象，无监督方法往往不够有效。本研究提出了 IPENS，一种交互式无监督多目标点云提取方法。该方法利用辐射场信息将由 SAM2（Segment Anything Model 2）分割的 2D 掩码提升到 3D 空间，以实现目标点云提取。设计了一种多目标协同优化策略，以有效解决单次交互多目标分割挑战。实验验证表明，IPENS 在米数据集上实现了 63.72% 的粒子级分割精度（mIoU），具有强大的表型估计能力：粮谷体积预测得分为 R2 = 0.7697（RMSE = 0.0025），叶面积 R2 = 0.84（RMSE = 18.93），叶长和叶宽预测分别达到 R2 = 0.97 和 0.87（RMSE = 1.49 和 0.21）。在小麦数据集上，IPENS 将分割精度提升至 89.68%（mIoU），表型估计性能同样出色：穗体积预测达到 R2 = 0.9956（RMSE = 0.0055），叶面积 R2 = 1.00（RMSE = 0.67），叶长和叶宽预测分别达到 R2 = 0.99 和 0.92（RMSE = 0.23 和 0.15）。该方法为米和小麦提供了一种无需标注数据、通过简单单轮交互即可在图像中快速提取粒子级点云（3 分钟）的非侵入性高质量表型提取解决方案，展现了显著的潜力以加速智能育种效率。
引用
@article{arxiv.2505.13633,
title = {IPENS:Interactive Unsupervised Framework for Rapid Plant Phenotyping Extraction via NeRF-SAM2 Fusion},
author = {Wentao Song and He Huang and Youqiang Sun and Fang Qu and Jiaqi Zhang and Longhui Fang and Yuwei Hao and Chenyang Peng},
journal= {arXiv preprint arXiv:2505.13633},
year = {2025}
}