MSFNet-CPD：用于农作物害虫检测的多尺度跨模态融合网络
人工智能
2025-05-06 v1
摘要
农业害虫的准确识别对于作物保护至关重要，但由于害虫种类间存在较大的类内方差和细粒度差异，这仍然具有挑战性。虽然深度学习推动了害虫检测的发展，但大多数现有方法仅依赖低级视觉特征，缺乏有效的多模态融合，导致准确性有限且可解释性差。此外，高质量多模态农业数据集的稀缺进一步限制了该领域的进展。为解决这些问题，我们基于广泛使用的IP102数据集构建了两个新的多模态基准——CTIP102和STIP102，并引入了一个多尺度跨模态融合网络（MSFNet-CPD）用于鲁棒的害虫检测。我们的方法通过超分辨率重建模块增强视觉质量，并将原始图像和重建图像同时输入网络，以提高清晰度和检测性能。为了更好地利用语义线索，我们提出了一个图像-文本融合（ITF）模块用于视觉和文本特征的联合建模，以及一个图像-文本转换器（ITC），该转换器在多个尺度上重建细粒度细节以处理复杂背景。此外，我们引入了一种任意组合图像增强（ACIE）策略，以生成一个更复杂、更多样化的害虫检测数据集MTIP102，从而提高模型对真实场景的泛化能力。大量实验表明，MSFNet-CPD在多个害虫检测基准上始终优于最先进的方法。所有代码和数据集将在https://github.com/Healer-ML/MSFNet-CPD上公开提供。
引用
@article{arxiv.2505.02441,
title = {MSFNet-CPD: Multi-Scale Cross-Modal Fusion Network for Crop Pest Detection},
author = {Jiaqi Zhang and Zhuodong Liu and Kejian Yu},
journal= {arXiv preprint arXiv:2505.02441},
year = {2025}
}
备注
Accepted to IJCNN 2025