deepNIR:用于合成近红外图像生成的数据集及基于深度学习技术的改进水果检测系统
摘要
本文介绍了用于合成近红外(NIR)图像生成与边界框级水果检测系统的数据集。不可否认,诸如 Tensorflow 或 Pytorch 之类的高水准机器学习框架,以及大规模的 ImageNet 或 COCO 数据集,在加速 GPU 硬件的辅助下,已将机器学习技术的极限推进了十余年。在这些突破中,高质量数据集是促成模型泛化与数据驱动深度神经网络部署成功的基本构件之一。尤其,合成数据生成任务往往比其他监督方法需要更多训练样本。因此,本文中我们共享了从两个公开数据集(即 nirscene 与 SEN12MS)重新处理得到的 NIR+RGB 数据集,以及我们新颖的 NIR+RGB 甜椒(辣椒)数据集。我们从定量与定性上证明,这些 NIR+RGB 数据集足以用于合成 NIR 图像生成。我们对 nirscene1、SEN12MS 与甜椒数据集分别取得了 11.36、26.53 与 40.15 的 Frechet Inception Distance (FID)。此外,我们发布了 11 种水果的手动标注,可通过云服务导出为多种格式。四种新添水果[蓝莓、樱桃、猕猴桃、小麦]在我们先前 deepFruits 项目[苹果、牛油果、辣椒、芒果、橙子、哈密瓜、草莓]的基础上构成了 11 个新颖边界框数据集。该数据集边界框实例总数为 162k,并可从云服务直接取用。为评估该数据集,采用了 Yolov5 单阶段检测器,并报告了令人印象深刻的 mean-average-precision,mAP[0.5:0.95] 结果[最小:0.49,最大:0.812]。我们希望这些数据集有所助益,并作为未来研究的基线。
引用
@article{arxiv.2203.09091,
title = {deepNIR: Datasets for generating synthetic NIR images and improved fruit detection system using deep learning techniques},
author = {Inkyu Sa and JongYoon Lim and Ho Seok Ahn and Bruce MacDonald},
journal= {arXiv preprint arXiv:2203.09091},
year = {2022}
}
备注
35 pages, 27 figures, published in MDPI Remote Sensing journal