ExtremeMETA：基于重构多通量超材料成像器的高速轻量级图像分割模型
计算机视觉与模式识别
2024-05-29 v1
摘要
深度神经网络（DNN）高度依赖传统计算单元如CPU和GPU，但这种常规方法带来显著的计算负担、延迟问题和高功耗，限制了其效能。这催生了轻量级网络如ExtremeC3Net的需求。另一方面，光学计算单元，特别是超材料，为运行于光速的能效神经网络提供了令人振奋的前景。然而，超材料神经网络的数字化设计面临精度、噪声和带宽等挑战，限制其仅能应用于直观任务和低分辨率图像。本文提出大尺寸核轻量级分割模型ExtremeMETA。基于ExtremeC3Net，ExtremeMETA通过探索更大的卷积核和多个处理路径，最大化第一层卷积的能力。借助所提出的大尺寸卷积模型，我们将光学神经网络的应用边界扩展到分割任务。为进一步减轻数字处理部分的计算负担，应用一组模型压缩方法以提升推理阶段的模型效率。在三个公开数据集上的实验结果表明，优化的高效设计将分割性能从92.45提升至95.97（mIoU），同时将计算FLOPs从461.07 MMacs降至166.03 MMacs。所提出的大尺寸轻量级模型ExtremeMETA展示了混合设计在复杂任务中的能力。
引用
@article{arxiv.2405.17568,
title = {ExtremeMETA: High-speed Lightweight Image Segmentation Model by Remodeling Multi-channel Metamaterial Imagers},
author = {Quan Liu and Brandon T. Swartz and Ivan Kravchenko and Jason G. Valentine and Yuankai Huo},
journal= {arXiv preprint arXiv:2405.17568},
year = {2024}
}