面向光学卷积网络的神经正切知识蒸馏
计算机视觉与模式识别
2025-08-13 v1 人工智能
机器学习
摘要
混合光学神经网络（ONN，通常由光学前端和数字后端组成）为实时、功耗受限的系统提供了一种比全数字深度网络更节能的替代方案。然而，它们的应用受到两个主要挑战的限制：训练期间与大规模网络相比的精度差距，以及模拟系统与制造系统之间的差异，这进一步降低了精度。虽然先前的工作已针对特定数据集（例如 MNIST）和光学系统提出了端到端优化，但这些方法通常缺乏跨任务和硬件设计的泛化能力。为了解决这些限制，我们提出了一种任务无关且硬件无关的流程，支持跨多种光学系统的图像分类和分割。为了在训练前辅助光学系统设计，我们根据用户指定的约束条件（如物理尺寸和数据集）来估计可实现的模型精度。对于训练，我们引入了神经正切知识蒸馏（NTKD），它将光学模型与电子教师网络对齐，从而缩小精度差距。在制造之后，NTKD 还指导数字后端的微调，以补偿实现误差。在多个数据集（例如 MNIST、CIFAR、Carvana Masking）和硬件配置上的实验表明，我们的流水线持续提高了 ONN 的性能，并使其能够在制造前的仿真和物理实现中实际部署。
引用
@article{arxiv.2508.08421,
title = {Neural Tangent Knowledge Distillation for Optical Convolutional Networks},
author = {Jinlin Xiang and Minho Choi and Yubo Zhang and Zhihao Zhou and Arka Majumdar and Eli Shlizerman},
journal= {arXiv preprint arXiv:2508.08421},
year = {2025}
}