基于多尺度类别表征响应相似性分析的尺度变换注意力浓缩深度神经网络系统性架构设计
计算机视觉与模式识别
2023-06-21 v1 机器学习
摘要
卷积神经网络中通常引入自注意力机制以取得更优的效率与性能平衡。然而，增加自注意力机制会为特定应用带来额外的超参数调优负担。本文提出一种称为多尺度类别表征响应相似性分析（ClassRepSim）的新型深度神经网络分析方法，可用于识别能够催生更高效自注意力卷积神经网络架构的具体设计干预手段。借助从 ClassRepSim 获得的洞见，我们提出空间变换注意力浓缩（STAC）模块，一种基于注意力浓缩的新型自注意力模块。我们表明，在 ResNet 风格架构中加入 STAC 模块，在 ImageNet64x64 数据集上相较原始 ResNet 模型最高可提升 1.6% 的 top-1 准确率，相较 SENet 模型最高可提升 0.5% 的 top-1 准确率，代价是最多 1.7% 的 FLOPs 增加与 2 倍的参数量。此外，我们证明 ClassRepSim 分析的结果可用于选取 STAC 模块的有效参数化方案，从而获得与大规模参数搜索相竞争的性能。
引用
@article{arxiv.2306.10128,
title = {Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis},
author = {Andre Hryniowski and Alexander Wong},
journal= {arXiv preprint arXiv:2306.10128},
year = {2023}
}