少量探测光子数的机器视觉

机器视觉，包括目标识别和图像重建，是许多消费设备和科学仪器中的核心技术。机器视觉系统的设计已通过采用端到端优化而得到革新，其中光学前端和后处理后端被联合优化。然而，尽管机器视觉在中等光照或亮光条件下表现极为出色——此时相机每像素可检测数千个光子，每帧可检测数十亿个光子——但在极低光照条件下则面临更大挑战。我们引入了光子感知类神经感知（PANS, Photon-aware Neuromorphic Sensing），这是一种在高度光子匮乏场景下进行端到端优化的方法。训练过程融入了对低光子预算和光检测随机性的认识，当每像素平均光子数接近或小于 1 时。我们报告了首次原理实验演示，其中我们使用 PANS 进行低光图像分类，在平均仅检测到 4.9（17）个光子的情况下，FashionMNIST 实现 73%（82%）准确率；在 MNIST 上实现 86%（97%）准确率——远远优于传统方法。我们还报告了模拟研究，表明 PANS 可应用于其他分类、事件检测和图像重建任务。通过考虑非经典态或替代感知硬件的测量结果统计特性，PANS 可原则上适用于其他量子和其他光子匮乏场景，以实现高精度结果。