基于多条件生成对抗网络的时变生成图像数据驱动作物生长模拟

基于图像的作物生长建模可以通过揭示作物随时间的空间发育，为精准农业做出重要贡献，从而能够早期且特定地点地估计相关的未来植物性状，如叶面积或生物量。生成逼真且清晰的作物图像的一个先决条件是将多个影响生长的条件整合到模型中，例如初始生长阶段的图像、相关的生长时间以及关于田间处理的更多信息。我们提出了一个两阶段框架，首先是一个图像预测模型，其次是一个生长估计模型，两者独立训练。图像预测模型是一个条件Wasserstein生成对抗网络（CWGAN）。在该模型的生成器中，使用条件批归一化（CBN）将不同条件与输入图像整合在一起。这使得模型能够根据多种不同类型的影响因素生成时变的人工图像。这些图像被框架的第二部分用于植物表型分析，通过推导植物特异性性状并将其与非人工（真实）参考图像进行比较。对于各种作物数据集，该框架能够实现逼真、清晰的图像预测，从短期到长期预测质量略有下降。使用训练好的框架对不同影响生长条件进行的模拟，为这些因素如何与作物外观相关联提供了有价值的见解，这在复杂、探索较少的作物混合系统中尤其有用。进一步的结果表明，将基于过程的模拟生物量作为条件添加到预测图像中，可以提高推导出的表型性状的准确性。这证明了我们的框架作为基于图像和基于过程的作物生长模型之间接口的潜力。