通过动态层注意力强化层间交互
计算机视觉与模式识别
2024-06-21 v1
摘要
在近年来，利用层注意力机制来增强各层次之间交互已被证明是构建网络结构的重要进展。本文深入探讨了层注意力与通用注意力机制之间的区别，指出现有层注意力方法以静态方式在固定特征图上实现层间交互。这些静态层注意力方法限制了层之间上下文特征提取的能力。为了恢复注意力机制的动态上下文表示能力，我们提出了一种动态层注意力（Dynamic Layer Attention, DLA）架构。DLA 包含双路径，其中前向路径利用一种改进的循环神经网络块——称为动态共享单元（Dynamic Sharing Unit, DSU）进行上下文特征提取。反向路径使用这些共享的上下文表示来更新特征。最后，对这些在层之间动态刷新后的特征图应用注意力机制。实验结果表明，所提出的 DLA 架构有效果，在图像识别和目标检测任务中超越了其他多种最先进的方法。此外，DSU 块被评估为所提 DLA 架构中的一种高效插件。代码已公开于 https://github.com/tunantu/Dynamic-Layer-Attention。
引用
@article{arxiv.2406.13392,
title = {Strengthening Layer Interaction via Dynamic Layer Attention},
author = {Kaishen Wang and Xun Xia and Jian Liu and Zhang Yi and Tao He},
journal= {arXiv preprint arXiv:2406.13392},
year = {2024}
}
备注
Accepted by IJCAI2024