一种用于高级害虫检测与分类的多模态方法
计算机视觉与模式识别
2023-12-19 v1 人工智能
摘要
本文提出一种新颖的多模态深度学习框架，用于增强农业害虫检测，该框架结合了 tiny-BERT 的自然语言处理与 R-CNN 及 ResNet-18 的图像处理。针对传统基于 CNN 的视觉方法的局限性，该方法整合文本上下文以实现更准确的害虫识别。R-CNN 与 ResNet-18 的集成解决了深度 CNN 中诸如梯度消失等问题，而 tiny-BERT 则保证了计算效率。该框架采用集成学习，结合线性回归和随机森林模型，展现出优越的判别能力，如 ROC 和 AUC 分析所示。这种融合文本与图像数据的多模态方法显著提升了农业中的害虫检测能力。本研究凸显了多模态深度学习在复杂现实场景中的潜力，并建议未来在数据集多样性、高级数据增强以及跨模态注意力机制方面进行扩展，以提升模型性能。
引用
@article{arxiv.2312.10948,
title = {A Multimodal Approach for Advanced Pest Detection and Classification},
author = {Jinli Duan and Haoyu Ding and Sung Kim},
journal= {arXiv preprint arXiv:2312.10948},
year = {2023}
}