中文

Interflow:利用注意力机制聚合多层特征映射

计算机视觉与模式识别 2021-07-14 v3

摘要

传统上,CNN 模型具有层次结构,并利用最后一层的特征映射获得预测输出。然而,确定最优网络深度并使中间层学习到具区分性的特征可能存在困难。本文提出专为传统 CNN 模型设计的 Interflow 算法。Interflow 依据深度将 CNN 划分为若干阶段,并利用各阶段中的特征映射进行预测。随后,我们将这些预测分支输入一个精心设计的注意力模块,该模块学习这些预测分支的权重,将其聚合并得到最终输出。Interflow 对浅层与深层中学习到的特征进行加权与融合,使各阶段的特征信息得到合理且有效的处理,令中间层学到更具区分性的特征,并增强模型的表征能力。此外,Interflow 可通过引入注意力机制缓解梯度消失问题、降低网络深度选择的难度,并减轻可能的过拟合问题。同时,它还能作为副产物避免网络退化。相较于原始模型,搭载 Interflow 的 CNN 模型在多个基准数据集上取得了更高的测试准确率。

关键词

引用

@article{arxiv.2106.14073,
  title  = {Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism},
  author = {Zhicheng Cai},
  journal= {arXiv preprint arXiv:2106.14073},
  year   = {2021}
}

备注

10 pages, 4 figures