ISP4ML：理解图像信号处理器在高效深度学习视觉系统中的作用
图像与视频处理
2021-03-18 v4 计算机视觉与模式识别
机器学习
摘要
卷积神经网络（CNNs）现已成为各种计算机视觉（CV）系统中的主要组件。这些系统通常包含图像信号处理器（ISP），尽管 ISP 传统上被设计用于产生对人类有吸引力的图像。在 CV 系统中，ISP 的作用尚不清楚，甚至不确定其对于准确预测是否必要。本工作中，我们研究 ISP 在 CNN 分类任务中的效能，并概述预测精度与计算成本之间的系统级权衡。为此，我们构建可配置 ISP 与成像传感器的软件模型，以便以一系列不同 ISP 设置和功能在 ImageNet 上训练 CNN。ImageNet 上的结果表明，ISP 在不同宽度的 MobileNet 架构上提升精度 4.6%–12.2%。使用 ResNets 的结果表明这些趋势也推广到更深的网络。对典型 ISP 中各处理阶段的消融研究揭示，在处理高动态范围（HDR）图像时，色调映射器是最显著的阶段，仅其就提供 5.8% 的平均精度提升。总体而言，ISP 有益于系统效率，因为相较于使用更大 CNN 达到相同精度的成本，ISP 的内存与计算成本可忽略不计。
引用
@article{arxiv.1911.07954,
title = {ISP4ML: Understanding the Role of Image Signal Processing in Efficient Deep Learning Vision Systems},
author = {Patrick Hansen and Alexey Vilkin and Yury Khrustalev and James Imber and David Hanwell and Matthew Mattina and Paul N. Whatmough},
journal= {arXiv preprint arXiv:1911.07954},
year = {2021}
}
备注
13 pages, 11 figures