面向极端边缘智能的类视网膜路径实现图像传感器内实时运动预测
图像与视频处理
2025-09-16 v1 系统与控制
系统与控制
摘要
动物在许多maneuvering活动中，特别是生存关键的攻击和逃脱反应中，都需要实时预测运动。鉴于其重要性，动物中的运动预测从视网膜开始。类似地，利用计算机视觉的自主系统 could 极大受益于能够实时预测运动的能力。因此，对于计算机视觉应用，运动预测应该集成到相机像素级别。为此，我们提出一种受视网膜启发的神经形态框架，能够在相机像素内实现实时、高效的MP。我们的硬件算法框架采用GlobalFoundries 22nm FDSOI技术实现，集成了关键的视网膜MP计算模块，包括双相滤波器、放大器、非线性电路以及用于多方向运动预测的2D数组。此外，通过采用3D Cu-Cu混合键合方式整合传感器和MP计算芯片，可提高设计紧凑性，最小化面积使用并简化布线复杂度。我们在真实世界物体刺激上验证了该模型，为决策场景下的高效低延迟MP提供了支持，仅需18.56 pJ/MP即可实现混合模拟硬件实现。
引用
@article{arxiv.2504.01275,
title = {A Retina-Inspired Pathway to Real-Time Motion Prediction inside Image Sensors for Extreme-Edge Intelligence},
author = {Subhradip Chakraborty and Shay Snyder and Md Abdullah-Al Kaiser and Maryam Parsa and Gregory Schwartz and Akhilesh R. Jaiswal},
journal= {arXiv preprint arXiv:2504.01275},
year = {2025}
}
备注
24 pages, 8 figures