让我们滚动起来：面向不同快门类型的行人检测合成数据集分析
计算机视觉与模式识别
2023-09-18 v1
摘要
计算机视觉（CV）流水线通常在经图像信号处理（ISP）流水线处理后的数据集上评估，尽管对于资源受限应用而言，一个重要研究目标是尽可能避免 ISP 步骤。特别地，大多数 CV 数据集由全局快门（GS）图像组成，而当今大多数相机使用卷帘快门（RS）。本文利用虚幻引擎 5（UE5）的先进仿真能力生成合成数据集，研究了不同快门机制对我们所生成合成数据集上机器学习（ML）目标检测模型的影响。具体而言，我们使用合成生成的配对 GS 与 RS 数据集训练并评估主流检测模型，以确定这两种快门模态在检测精度上是否存在显著差异，尤其在捕获低速物体（如行人）时。该仿真框架的结果表明，在粗粒度检测（IOU=0.5 的平均精度均值（mAP））上二者性能高度一致，但在细粒度检测精度度量（IOU=0.5:0.95 的 mAP）上存在显著差异。这意味着对于许多目标检测应用，ML 流水线可能无需对 RS 进行显式校正，但在面向物体细粒度定位的无 ISP ML 流水线中缓解 RS 效应可能需要进一步研究。
引用
@article{arxiv.2309.08136,
title = {Let's Roll: Synthetic Dataset Analysis for Pedestrian Detection Across Different Shutter Types},
author = {Yue Hu and Gourav Datta and Kira Beerel and Peter Beerel},
journal= {arXiv preprint arXiv:2309.08136},
year = {2023}
}