具备CNN功能的相机：面向像素处理器阵列上的嵌入式神经网络
计算机视觉与模式识别
2019-09-16 v2 新兴技术
摘要
我们提出了一种面向像素处理器阵列(PPA)传感器的卷积神经网络实现。PPA硬件由细粒度通用处理单元阵列构成，每个单元可进行光捕获、数据存储、程序执行及与邻元通信。这使得图像可直接在光捕获点存储与处理，而无需传输至外部处理硬件。我们的CNN方法将该阵列划分为4x4处理单元块，实质上以图像分辨率为代价换取每4x4“像素”更大的本地存储容量。我们在该4x4块格式下实现图像加法、减法与位移的并行操作。利用这些组件，我们阐明了如何对这些图像执行三值权值卷积、紧凑存储卷积结果、进行最大池化，并将所得下采样数据传输至外接微控制器。我们训练了用于数字识别和简单跟踪任务的三值权值滤波器CNN，并在SCAMP5 PPA系统上演示了这些网络的推理。本工作是向传感器焦平面直接嵌入神经网络处理能力迈出的第一步。
引用
@article{arxiv.1909.05647,
title = {A Camera That CNNs: Towards Embedded Neural Networks on Pixel Processor Arrays},
author = {Laurie Bose and Jianing Chen and Stephen J. Carey and Piotr Dudek and Walterio Mayol-Cuevas},
journal= {arXiv preprint arXiv:1909.05647},
year = {2019}
}
备注
Accepted into ICCV 2019