挤压记忆模块
计算机视觉与模式识别
2024-10-02 v1 机器学习
摘要
卷积神经网络（CNNs）是许多机器学习任务中至关重要的模型。它们由不同类型的层构成：用于检测特征的卷积层、帮助避免对单个神经元过度依赖的Dropout层，以及允许特征重复使用的残差层。然而，CNNs缺乏类似人类大脑记忆的动态特征保留机制，限制了其在新情境中利用已学信息的能力。为弥合这一差距，我们引入了“挤压记忆”（Squeeze-and-Remember，简称SR）模块，这是一个新的网络架构单元，为CNNs提供了类似记忆的动态功能。SR模块在训练期间选择性地记忆重要特征，然后在推理时自适应地重新应用这些特征。这一机制提高了网络在基于上下文做出预测方面的能力。在ImageNet和Cityscapes数据集上的实验结果表明，SR模块具有良好的效果：将其集成到ResNet50中，可使ImageNet上顶级1验证准确率相对于仅使用dropout2d提升0.52%；在DeepLab v3中应用后，Cityscapes上的平均交并比（mIoU）提升0.20%。这些改进是在最小计算开销的基础上实现的。这表明了SR模块有望提升CNNs在图像处理任务中的能力。
关键词
引用
@article{arxiv.2410.00823,
title = {Squeeze-and-Remember Block},
author = {Rinor Cakaj and Jens Mehnert and Bin Yang},
journal= {arXiv preprint arXiv:2410.00823},
year = {2024}
}
备注
Accepted by The International Conference on Machine Learning and Applications (ICMLA) 2024