PixelRNN：用于神经传感器端到端优化感知的像素内循环神经网络
计算机视觉与模式识别
2023-04-13 v1
摘要
传统图像传感器以快速帧率数字化高分辨率图像，产生大量需传离传感器以进一步处理的数据。这对运行于边缘设备上的感知系统而言颇具挑战，因为通信功耗效率低且引入延迟。受堆叠图像传感器制造工艺创新的推动，新兴的传感器-处理器在传感器上直接提供可编程性与极简处理能力。我们利用这些能力开发了高效的循环神经网络架构PixelRNN，其使用纯二值运算在传感器上编码时空特征。与常规系统相比，PixelRNN将需传离传感器的数据量降低了64倍，同时在手势识别与唇读任务上提供具竞争力的精度。我们使用SCAMP-5传感器-处理器平台上的原型实现实验验证了PixelRNN。
引用
@article{arxiv.2304.05440,
title = {PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized Perception with Neural Sensors},
author = {Haley M. So and Laurie Bose and Piotr Dudek and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2304.05440},
year = {2023}
}