面向计算机视觉的成像流水线重构
计算机视觉与模式识别
2017-08-03 v3
摘要
深度学习的进展引发了针对嵌入式计算机视觉高效硬件研究的爆发。然而，硬件视觉加速并未解决为这些算法提供输入的图像数据的捕获与处理成本。我们考察了图像信号处理(ISP)流水线在计算机视觉中的作用，以寻找降低计算量和节省能量的机会。核心见解是，成像流水线应被设计为可配置的：在传统摄影模式与低功耗视觉模式之间切换，后者产生仅适用于计算机视觉的较低质量图像数据。我们利用八种计算机视觉算法和一个可逆流水线仿真工具来研究成像系统对视觉性能的影响。对于基于CNN和经典的视觉算法，我们观察到仅有两个ISP阶段，即去马赛克(demosaicing)和伽马压缩(gamma compression)，对任务性能至关重要。我们提出了一种可补偿跳过这些阶段的新图像传感器设计。该传感器设计具有可调分辨率和可调模数转换器(ADCs)。我们提出的成像系统的视觉模式完全禁用ISP，并配置传感器以产生子采样、较低精度的图像数据。该视觉模式可节省基线摄影模式平均能耗的约75%，同时对视觉任务精度仅有微小影响。
引用
@article{arxiv.1705.04352,
title = {Reconfiguring the Imaging Pipeline for Computer Vision},
author = {Mark Buckler and Suren Jayasuriya and Adrian Sampson},
journal= {arXiv preprint arXiv:1705.04352},
year = {2017}
}