用于非相干自然光传感器内边缘计算的光谱卷积神经网络芯片
光学
2024-12-13 v3 新兴技术
摘要
卷积神经网络（CNNs）是人工神经网络（ANNs）的代表性模型。然而，电计算平台相当大的功耗和有限的计算速度限制了 CNN 在边缘设备上的进一步发展。光学神经网络被视为 ANNs 的下一代物理实现，但其能力受限于片上集成规模和对相干光源的要求。本研究提出一种由光学卷积层（OCL）和可重构电后端组成的非相干自然光光谱卷积神经网络（SCNN）。OCL 通过在 12 英寸晶圆上于 CMOS 图像传感器上集成超大规模、像素对齐的光谱滤波器实现，促进入射光的高度并行光谱向量内积。它直接以包含两空间维和一光谱维的宽带非相干自然光作为输入，具有物质元成像功能。这一独特光电框架赋能传感器内光模拟计算，具有极高能效，因为 OCL 由信息载体即自然光的能量驱动。据我们所知，这是首个利用自然光的集成光学计算。我们将同一 SCNN 芯片用于完全不同的真实世界复杂任务，在病理诊断上达到超过 96% 的准确率，在视频帧率下的人脸防伪上达到近 100% 的准确率。SCNN 框架具有前所未有的物质识别新功能，为边缘设备或手机提供了可行的光电及集成光学 CNN 实现，赋予其实用的强大边缘计算能力，并促进智能机器人、工业自动化、医疗诊断和遥感等多样应用。
引用
@article{arxiv.2306.10701,
title = {Spectral Convolutional Neural Network Chip for In-sensor Edge Computing of Incoherent Natural Light},
author = {Kaiyu Cui and Shijie Rao and Sheng Xu and Yidong Huang and Xusheng Cai and Zhilei Huang and Yu Wang and Xue Feng and Fang Liu and Wei Zhang and Yali Li and Shengjin Wang},
journal= {arXiv preprint arXiv:2306.10701},
year = {2024}
}