知识蒸馏规避光学卷积神经网络中的非线性
计算机视觉与模式识别
2022-03-23 v1 新兴技术
机器学习
摘要
近年来，卷积神经网络（CNN）已实现普适的图像处理应用。因此，CNN 需要快速的运行时间（前向传播）以实时处理高分辨率视觉流。即使使用最先进的图形与张量处理单元，这仍是一项具有挑战性的任务。计算效率的瓶颈主要出现在卷积层。在傅里叶域中执行操作是加速前向传播的一种有前景的方法，因为它将卷积转换为逐元素乘法，对于大核而言计算速度快得多。此外，此类计算可使用光 4f 系统实现，其运算速度快几个数量级。然而，使用这种频谱方法以及 CNN 的光学实现中的一个主要挑战是在每个卷积层之间引入非线性，若无非线性 CNN 性能会急剧下降。在此，我们提出一种频谱 CNN 线性对应（SCLC）网络架构，并发展一种知识蒸馏（KD）方法来规避对非线性的需求并成功训练此类网络。尽管 KD 方法在机器学习中作为网络剪枝的有效过程而为人所知，我们调整该方法将知识从非线性网络（教师）迁移到线性对应网络（学生）。我们展示 KD 方法能取得轻松超越标准线性版 CNN 并接近非线性网络性能的表现。我们的仿真表明，提高输入图像分辨率的可能性使我们提出的光 4f 线性网络能在两项基础图像处理任务上比同等精度的非线性网络更高效：（i）目标分类与（ii）语义分割。
引用
@article{arxiv.2102.13323,
title = {Knowledge Distillation Circumvents Nonlinearity for Optical Convolutional Neural Networks},
author = {Jinlin Xiang and Shane Colburn and Arka Majumdar and Eli Shlizerman},
journal= {arXiv preprint arXiv:2102.13323},
year = {2022}
}