通过可重构 CMOS 图像传感器实现能效实时计算机视觉中的智能跳过
计算机视觉与模式识别
2024-09-27 v1
摘要
当前基于视频的计算机视觉(CV)应用因读取整帧像素而导致能耗高，无论这些像素是否重要。虽然已有研究尝试通过跳过输入数据块或像素并利用端任务反馈指导跳过算法来降低能耗，但这些方法是在传感器读取阶段之外进行的，无法优化前端传感器能耗。此外，这些方法可能不适用于实时应用，因为部署在后端的现代 CV 网络具有较长的延迟。为此，本文提出一种定制设计的可重构 CMOS 图像传感器(CIS)系统，通过在传感器读取阶段和后续模拟--数码转换(ADC)阶段选择性地跳过帧内不活跃区域或行，来提高能效。一种新型掩码算法能够实时智能地指导跳过过程，同时优化前端传感器和后端神经网络，适用于包括自动驾驶和增强/虚拟现实(AR/VR)等应用。该系统可在需要时以标准模式运行。我们在基于 BDD100K 和 ImageNetVID 的目标检测以及基于 OpenEDS 的注视点估计上评估了硬件--算法联合设计框架，实现了前端传感器能耗降低最高可达 53%，同时保持业界最先进(SOTA)准确率。
引用
@article{arxiv.2409.17341,
title = {Energy-Efficient & Real-Time Computer Vision with Intelligent Skipping via Reconfigurable CMOS Image Sensors},
author = {Md Abdullah-Al Kaiser and Sreetama Sarkar and Peter A. Beerel and Akhilesh R. Jaiswal and Gourav Datta},
journal= {arXiv preprint arXiv:2409.17341},
year = {2024}
}
备注
Under review