植物表型学的 3D 多模态图像配准

在用于植物表型监测的组合多模态监控系统中使用多种摄像技术可提供令人期待的好处。与仅使用单一摄像技术的配置相比，可以记录跨模态模式，从而实现对植物表型的更全面评估。然而，有效利用跨模态模式取决于实现像素级精准对齐，这通常受到植物冠层成像中固有的视差和遮挡效应的 complicating。本研究提出一种新型 3D 多模态图像配准方法，通过将时差飞行相机（time-of-flight camera）获取的深度信息整合到配准过程中以解决这些挑战。凭借深度数据，该方法减轻视差效应，从而更容易实现不同摄像模态之间的像素对齐。此外，我们引入一种自动识别和区分不同遮挡类型的机制，从而最小化配准误差的引入。为评估我们方法的有效性，我们在由六种不同植物种类组成的多样化图像数据集上进行实验。我们的结果显示，所提出的配准算法具有鲁棒性，展示了其在不同植物类型和摄像机组合下的准确对齐能力。与以往方法相比，它不依赖于检测植物特定图像特征，从而可用于植物科学的广泛应用。该配准方法原则上可扩展到任意数量的摄像机，且这些摄像机分辨率和波长各不相同。总体而言，我们的研究通过提供一种稳健可靠的多模态图像配准解决方案，推动了植物表型学领域的发展。