实现无 ISP 的低功耗计算机视觉
计算机视觉与模式识别
2022-10-12 v1 图像与视频处理
摘要
为了在资源受限的低功耗设备上部署当前的计算机视觉（CV）模型，近期的工作提出了传感器内和像素内计算方法，试图部分/完全绕过图像信号处理器（ISP），并通过在初始卷积神经网络（CNN）层中对激活图进行下采样，来显著减少图像传感器与 CV 处理单元之间的带宽。然而，由于图像传感器捕获的原始图像与训练所用的 ISP 处理图像在协方差上存在差异，直接对原始图像进行推理会降低测试准确率。此外，在原始图像上训练深度 CV 模型也很困难，因为大多数（甚至全部）大规模开源数据集均由 RGB 图像组成。为了缓解这一问题，我们提出反转 ISP 流程，将任意数据集的 RGB 图像转换为其对应的原始图像，从而实现模型在原始图像上的训练。我们发布了 COCO 数据集的原始版本，这是一个用于通用高级视觉任务的大规模基准数据集。对于无 ISP 的 CV 系统，与依赖传统 ISP 处理的 RGB 数据集进行训练相比，在这些原始图像上训练使得视觉唤醒任务（VWW）数据集上的测试准确率提高了 7.1%。为了进一步提高无 ISP 的 CV 模型的准确率，并增加传感器内/像素内计算带来的能耗和带宽收益，我们提出了一种节能的模拟像素内去马赛克方法，该方法可与像素内 CNN 计算相结合。在 PASCALRAW 数据集中真实传感器捕获的原始图像上进行评估时，我们的方法使 mAP 提高了 8.1%。最后，我们展示了一种新颖的小样本学习应用，针对包含 3 个类别的新 PASCALRAW 数据集，每个类别使用 30 个样本，使 mAP 进一步提高了 20.5%。
引用
@article{arxiv.2210.05451,
title = {Enabling ISP-less Low-Power Computer Vision},
author = {Gourav Datta and Zeyu Liu and Zihan Yin and Linyu Sun and Akhilesh R. Jaiswal and Peter A. Beerel},
journal= {arXiv preprint arXiv:2210.05451},
year = {2022}
}
备注
Accepted to WACV 2023