多尺度低频记忆网络：提升卷积神经网络特征提取能力
计算机视觉与模式识别
2024-03-14 v1
摘要
深度学习与卷积神经网络（CNN）已在众多研究领域推动了重大变革。然而，它们在处理低频信息方面的局限性，给某些任务（如解读全局结构或处理平滑过渡图像）带来了障碍。尽管Transformer结构在诸多任务中展现出令人瞩目的性能，但其复杂的优化难题凸显了在有限资源下持续改进CNN的迫切需求。针对这些复杂性，我们引入了一个新颖的框架——多尺度低频记忆（MLFM）网络，旨在充分挖掘CNN的潜力，同时保持其复杂度不变。MLFM能高效保存低频信息，从而提升在特定计算机视觉任务中的性能。MLFM的核心是低频记忆单元（LFMU），它存储各种低频数据，并构成一条与核心网络并行的通道。MLFM的一个关键优势在于其与多种主流网络的无缝兼容性，无需改动它们的原始核心结构。在ImageNet上的测试表明，包括ResNet、MobileNet、EfficientNet和ConvNeXt在内的多种2D CNN均取得了显著的准确率提升。此外，我们通过将MLFM成功集成到图像到图像的转换任务中，特别是FCN和U-Net等语义分割网络，展示了其超越传统图像分类的通用性。总之，我们的工作标志着在有限资源下优化CNN效能与效率的征程中迈出了关键一步。这项研究建立在现有CNN基础之上，并为计算机视觉的未来发展铺平了道路。我们的代码可在https://github.com/AlphaWuSeu/MLFM获取。
引用
@article{arxiv.2403.08157,
title = {Multiscale Low-Frequency Memory Network for Improved Feature Extraction in Convolutional Neural Networks},
author = {Fuzhi Wu and Jiasong Wu and Youyong Kong and Chunfeng Yang and Guanyu Yang and Huazhong Shu and Guy Carrault and Lotfi Senhadji},
journal= {arXiv preprint arXiv:2403.08157},
year = {2024}
}
备注
9 pages, 10 figures,6 tables. AAAI 2024 conference