基于时序卷积注意力的序列建模网络
计算与语言
2023-10-17 v3 机器学习
摘要
随着前馈模型的发展,序列建模的默认模型已逐渐演变为替代循环网络。许多基于卷积网络与注意力机制的强大前馈模型被提出,并展现出处理序列建模任务的更大潜力。我们思考是否存在一种架构,既能近似替代循环网络,又能吸收前馈模型的优势。因此我们提出一种探索性架构——基于时序卷积注意力的网络(TCAN),它结合了时序卷积网络与注意力机制。TCAN包含两部分:一是时序注意力(TA),捕捉序列内部相关特征;二是增强残差(ER),提取浅层重要信息并传递至深层。我们将bpc/困惑度的state-of-the-art结果提升至词级PTB上30.28、字符级PTB上1.092、WikiText-2上9.20。
引用
@article{arxiv.2002.12530,
title = {Temporal Convolutional Attention-based Network For Sequence Modeling},
author = {Hongyan Hao and Yan Wang and Siqiao Xue and Yudi Xia and Jian Zhao and Furao Shen},
journal= {arXiv preprint arXiv:2002.12530},
year = {2023}
}
备注
7 pages, 3 figures