基于神经辐射场的植物高保真三维重建
计算机视觉与模式识别
2024-03-29 v1 机器人学
摘要
精准重建植物表型在精准农业（PA）领域优化可持续农作实践中起关键作用。当前，基于光学传感器的方法主导该领域，但在非结构化农业环境中对作物与植物的高保真三维重建需求仍具挑战性。近来，神经辐射场（NeRF）这一利用神经密度场的新方法展现出有前景的进展。该技术在多种新视角合成任务中表现优异，但在农业语境中相对未被探索。本研究中，我们聚焦植物表型内的两项基础任务：（1）2D 新视角图像合成与（2）作物及植物模型的三维重建。我们探索神经辐射场领域，尤其两种 SOTA 方法：Instant-NGP，擅长以惊人训练与推理速度生成高质量图像；以及 Instant-NSR，通过在训练中引入有符号距离函数（SDF）改善重建几何。特别地，我们提出一个包含生产环境真实植物图像的新型植物表型数据集。该数据集为首次综合性探究 NeRF 在农业语境中优势与局限的举措。实验结果显示，NeRF 在新视角图像合成中表现良好，且能达到与基于三维多视图立体（MVS）重建的领先商业软件 Reality Capture 相竞争的重建结果。然而，研究也凸显 NeRF 的若干缺陷，包括训练速度相对较慢、采样不足时性能受限，以及复杂场景下几何质量获取困难。
引用
@article{arxiv.2311.04154,
title = {High-fidelity 3D Reconstruction of Plants using Neural Radiance Field},
author = {Kewei Hu and Ying Wei and Yaoqiang Pan and Hanwen Kang and Chao Chen},
journal= {arXiv preprint arXiv:2311.04154},
year = {2024}
}