评估基于移动的深度学习模型用于植物病害监测

卷积神经网络模型（CNNs）在过去五年中于计算机视觉任务上取得了重大进展。鉴于收集真实世界数据集的挑战，多数研究基于可得的研究数据集报告性能度量。在CNNs需部署于移动设备图像或视频的场景中，由于光照、角度和相机规格等研究数据集中未考虑的因素，模型面临新的挑战。若此类模型要可靠地与社会中的产品和服务集成，评估也必须在真实世界数据集上进行。植物病害数据集可用于实时测试CNNs并深入了解真实世界性能。我们训练了一个CNN目标检测模型，以识别木薯（Manihot esculenta Crantz）叶片疾病的叶部症状（或无症状）。随后我们将模型部署于移动应用，并在坦桑尼亚农田中720片染病小叶的移动图像和视频上测试其性能。在每个病害类别中，我们测试了两种程度的症状——轻度与明显，以评估模型对早期症状的检测性能。在两种严重程度下，真实世界图像和视频的F-1分数均出现下降。真实世界图像中明显症状的F-1分数（与训练数据最接近的数据）因模型召回率下降而降低了32%。若要发挥智能手机CNNs的潜力，我们的数据表明，考虑调整精确率与召回率性能以实现真实世界环境中期望的性能至关重要。此外，与不同输入数据（图像或视频）相关的性能差异是真实世界应用中CNN设计的重要考量。