SASE：用于挤压与激励操作的搜索架构
计算机视觉与模式识别
2024-11-14 v1
摘要
近年来，通道注意力和空间注意力模块被广泛作为辅助模块采用于深度神经网络，在引入低复杂度的同时增强网络表达能力。大多数注意力模块遵循挤压-激励范式。然而，设计此类注意力模块需要大量实验和计算资源。同时，神经架构搜索（NAS）能自动化神经网络设计，免去寻找最优架构所需的大量实验。这促使我们设计一种搜索架构，通过 NAS 自动寻找近似最优的注意力模块。我们提出 SASE，一种用于挤压与激励操作的搜索架构，通过在特定搜索空间内搜索形成即插即用的注意力模块。搜索空间被划分为 4 个不同的集合，每个集合对应通道或空间维度上的挤压或激励操作。此外，搜索集合不仅包含现有注意力模块，还包含此前未用于注意力机制的其他操作。据我们所知，SASE 是首次细分注意力搜索空间并搜索超越现有已知注意力模块的架构的尝试。搜索得到的注意力模块在一系列视觉任务上通过大量实验进行测试。实验结果表明，使用 SASE 注意力模块的视觉骨干网络（ResNet-50/101）相比使用当前最先进注意力模块的网络取得了最佳性能。代码包含在补充材料中，稍后将公开。
引用
@article{arxiv.2411.08333,
title = {SASE: A Searching Architecture for Squeeze and Excitation Operations},
author = {Hanming Wang and Yunlong Li and Zijun Wu and Huifen Wang and Yuan Zhang},
journal= {arXiv preprint arXiv:2411.08333},
year = {2024}
}