基于多粒度注意力混合神经网络的文本分类
计算与语言
2020-08-13 v1 人工智能
摘要
基于神经网络的方法已成为自然语言处理（NLP）任务的驱动力。传统上，NLP任务有两类主流神经架构：循环神经网络（RNN）与卷积神经网络（ConvNet）。RNN擅长对输入文本上的长期依赖建模，但妨碍并行计算。ConvNets不具备记忆能力，且必须将序列数据作为无序特征建模。因此，ConvNets无法学习输入文本上的序列依赖，但能够执行高效的并行计算。由于每种神经架构（如RNN与ConvNets）各有优劣，不同架构的融合被认为能够丰富文本的语义表示，从而提升NLP任务性能。然而，鲜有研究探讨这些看似不兼容架构的调和。为解决此问题，我们提出了一种基于新颖分层多粒度注意力机制的混合架构，称为多粒度注意力混合神经网络（MahNN）。该注意力机制为输入序列不同部分分配不同权重，以提升神经模型的计算效率与性能。在MahNN中，引入了两类注意力：句法注意力与语义注意力。句法注意力在较低符号层面计算句法要素（如词或句子）的重要性，语义注意力用于计算对应于上层潜在语义的嵌入空间维度的重要性。我们采用文本分类作为示例方式来阐明MahNN理解文本的能力。
引用
@article{arxiv.2008.05282,
title = {Text Classification based on Multi-granularity Attention Hybrid Neural Network},
author = {Zhenyu Liu and Chaohong Lu and Haiwei Huang and Shengfei Lyu and Zhenchao Tao},
journal= {arXiv preprint arXiv:2008.05282},
year = {2020}
}