基于注意力机制与使用激活图的弱监督模型用于柑橘螨虫与昆虫害虫分类

柑橘汁和柑橘类水果是国际市场上具有巨大经济潜力的商品，但由螨虫和其他害虫造成的生产力损失仍远未达理想水平。尽管有害虫综合防治的机械层面考量，仅有少数关于自动分类的工作处理了具有柑橘螨特征的影像，这意味着微小且含噪的兴趣区域。在计算方面，基于注意力的模型在深度学习研究中已崭露头角，并且与弱监督学习算法一起，在带有某些标签限制的任务中取得了改进。在害虫与疾病的农学研究里，这些技术可在指出螨虫和昆虫位置而无需特定标签的同时提升分类性能，降低与生成边界框相关的深度学习开发成本。在此背景下，本工作提出一种基于注意力的激活图方法，称为双加权激活映射（Two-Weighted Activation Mapping），用于改进微小区域的分类，其还利用从类标签学到的特征图分数产生位置。我们将我们的方法应用于称为基于注意力的由显著图引导的多示例学习的两阶段网络流程中。我们在两个具有挑战性的数据集上分析所提方法：直接在田间使用放大镜采集的柑橘害虫基准（Citrus Pest Benchmark），以及大型害虫图像基准 Insect Pest。此外，我们评估并将我们的模型与弱监督方法（如 Attention-based Deep MIL 和 WILDCAT）进行比较。结果显示我们的分类器优于文献中使用微小区域进行分类的方法，在所有场景中至少以 16 个百分点超越它们。而且，我们的方法可推断显著昆虫的边界框位置，即使在无任何位置标签的训练下也是如此。