Interflow:利用注意力机制聚合多层特征映射
计算机视觉与模式识别
2021-07-14 v3
摘要
传统上,CNN 模型具有层次结构,并利用最后一层的特征映射获得预测输出。然而,确定最优网络深度并使中间层学习到具区分性的特征可能存在困难。本文提出专为传统 CNN 模型设计的 Interflow 算法。Interflow 依据深度将 CNN 划分为若干阶段,并利用各阶段中的特征映射进行预测。随后,我们将这些预测分支输入一个精心设计的注意力模块,该模块学习这些预测分支的权重,将其聚合并得到最终输出。Interflow 对浅层与深层中学习到的特征进行加权与融合,使各阶段的特征信息得到合理且有效的处理,令中间层学到更具区分性的特征,并增强模型的表征能力。此外,Interflow 可通过引入注意力机制缓解梯度消失问题、降低网络深度选择的难度,并减轻可能的过拟合问题。同时,它还能作为副产物避免网络退化。相较于原始模型,搭载 Interflow 的 CNN 模型在多个基准数据集上取得了更高的测试准确率。
引用
@article{arxiv.2106.14073,
title = {Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism},
author = {Zhicheng Cai},
journal= {arXiv preprint arXiv:2106.14073},
year = {2021}
}
备注
10 pages, 4 figures