卷积增强的演化注意力网络
机器学习
2023-05-01 v2 计算与语言
计算机视觉与模式识别
神经与进化计算
摘要
基于注意力的神经网络，如 Transformer，已在众多应用中变得无处不在，包括计算机视觉、自然语言处理和时间序列分析。在各种注意力网络中，注意力图至关重要，因为它们编码了输入词元之间的语义依赖关系。然而，大多数现有注意力网络基于表示进行建模或推理，其中不同层的注意力图被分别学习，没有显式交互。在本文中，我们提出了一种新颖且通用的演化注意力机制，它通过一串残差卷积模块直接建模词元间关系的演化。主要动机有两个方面。一方面，不同层中的注意力图共享可迁移的知识，因此添加残差连接可以促进词元间关系跨层的信息流动。另一方面，在不同抽象层级上的注意力图之间天然存在演化趋势，因此利用专门的基于卷积的模块来捕捉这一过程是有益的。配备所提机制后，卷积增强的演化注意力网络在各种应用中取得了优越性能，包括时间序列表示、自然语言理解、机器翻译和图像分类。特别是在时间序列表示任务上，演化注意力增强的膨胀卷积（EA-DC-）Transformer 显著优于最先进模型，与最佳 SOTA 相比实现了平均 17% 的提升。据我们所知，这是首个显式建模注意力图层间演化的工作。我们的实现可在 https://github.com/pkuyym/EvolvingAttention 获取。
引用
@article{arxiv.2212.08330,
title = {Convolution-enhanced Evolving Attention Networks},
author = {Yujing Wang and Yaming Yang and Zhuo Li and Jiangang Bai and Mingliang Zhang and Xiangtai Li and Jing Yu and Ce Zhang and Gao Huang and Yunhai Tong},
journal= {arXiv preprint arXiv:2212.08330},
year = {2023}
}
备注
Accepted by IEEE T-PAMI. Extension of the previous work (arXiv:2102.12895). arXiv admin note: text overlap with arXiv:2102.12895