YOLOBench：嵌入式系统上高效目标检测器的基准测试
计算机视觉与模式识别
2023-08-22 v2
摘要
我们提出 YOLOBench，一个由 550+ 个基于 YOLO 的目标检测模型组成的基准，涵盖 4 个不同数据集与 4 种不同嵌入式硬件平台（x86 CPU、ARM CPU、Nvidia GPU、NPU）。我们在固定训练环境（代码与训练超参数）下对这些检测器进行公平、可控的比较，收集了不同模型规模下多种基于 YOLO 的单阶段检测器的准确率与延迟数据。对所收集数据的帕累托最优分析表明，若将现代检测头与训练技术纳入学习过程，包括 YOLOv3、YOLOv4 等较旧模型在内的多种 YOLO 系列架构均能实现良好的准确率-延迟权衡。我们还在 YOLOBench 上评估了神经架构搜索中使用的免训练准确率估计器，并证明尽管大多数最先进的零成本准确率估计器被如 MAC 计数这样的简单基线超越，但其中部分可有效用于预测帕累托最优检测模型。我们展示通过使用零成本代理在 Raspberry Pi 4 CPU 上识别出与最先进 YOLOv8 模型竞争的 YOLO 架构。代码与数据可在 https://github.com/Deeplite/deeplite-torch-zoo 获取。
引用
@article{arxiv.2307.13901,
title = {YOLOBench: Benchmarking Efficient Object Detectors on Embedded Systems},
author = {Ivan Lazarevich and Matteo Grimaldi and Ravish Kumar and Saptarshi Mitra and Shahrukh Khan and Sudhakar Sah},
journal= {arXiv preprint arXiv:2307.13901},
year = {2023}
}