P2M：面向资源受限 TinyML 应用的存内像素处理范式

处理最先进高分辨率相机产生的大量数据的需求推动了新型高能效片上 AI 解决方案的发展。此类相机中的视觉数据通常由传感器像素阵列以模拟电压形式捕获，然后使用模数转换器（ADC）转换至数字域以进行后续 AI 处理。近期研究试图利用大规模并行低功耗模拟/数字计算，以近传感器处理和传感器内处理的形式，将 AI 计算部分置于像素阵列外围、部分置于独立的板载 CPU/加速器中进行。遗憾的是，高分辨率输入图像仍需在相机与 AI 处理单元之间逐帧流式传输，造成了能耗、带宽与安全瓶颈。为缓解该问题，我们提出一种新颖的存内像素处理（Processing-in-Pixel-in-memory, P2M）范式，通过为像素阵列添加对模拟多通道、多比特卷积、批归一化与 ReLU（修正线性单元）的支持来定制像素阵列。我们的方案包含一种整体的算法-电路协同设计方法，所得 P2M 范式可作为嵌入式内存密集型卷积神经网络（CNN）模型前几层的替代方案，直接部署于代工可制造的 CMOS 图像传感器平台中。实验结果表明，在视觉唤醒词数据集（VWW）的 TinyML 用例上处理 MobileNetV2 模型时，与标准近处理或传感器内实现相比，P2M 将来自传感器的数据传输带宽与模数转换次数降低约 21 倍，能量延迟积（EDP）降低高达约 11 倍，且测试精度无显著下降。