空间变化纳米光子神经网络
计算机视觉与模式识别
2024-01-02 v3
摘要
人工智能计算与能耗成本的爆炸式增长强烈激发了对新计算模态作为传统电子处理器潜在替代方案的兴趣。使用光子而非电子执行操作的光子处理器有望实现具有超低延迟和功耗的光学神经网络。然而，受底层网络设计限制，现有光学神经网络的图像识别精度远低于最先进的电子神经网络。在本工作中，我们通过将大规模并行光学计算嵌入平面相机光学中，在捕获期间、在传感器记录图像之前执行神经网络计算，从而弥合了这一差距。具体而言，我们利用大核并提出通过低维重参数化技术学习的空间变化大核卷积神经网络。我们通过一个平面超光学系统实验实例化该网络，该系统包含一组旨在诱导角度依赖响应的纳米光子结构阵列。结合具有约 2K 参数的极轻量电子后端，我们展示了可重构纳米光子神经网络在 CIFAR-10 数据集上达到 72.76\% 盲测分类精度，并且首次使光学神经网络以 57M 参数超越第一个现代数字神经网络——AlexNet（72.64\%），将光学神经网络带入现代深度学习时代。
引用
@article{arxiv.2308.03407,
title = {Spatially Varying Nanophotonic Neural Networks},
author = {Kaixuan Wei and Xiao Li and Johannes Froech and Praneeth Chakravarthula and James Whitehead and Ethan Tseng and Arka Majumdar and Felix Heide},
journal= {arXiv preprint arXiv:2308.03407},
year = {2024}
}