用于文本分类的带注意力多通道CNN
计算与语言
2020-06-30 v1 机器学习
摘要
近年来，基于神经网络的方法在句子建模中展现出显著潜力。主要有两种神经网络结构：循环神经网络（RNN）和卷积神经网络（CNN）。RNN能捕捉长期依赖并将先前信息的语义存储在固定大小的向量中。然而，RNN是有偏模型，其提取全局语义的能力受限于固定大小向量。相比之下，CNN能利用卷积滤波器捕捉文本的n-gram特征。但卷积滤波器的宽度限制了其性能。为结合两类网络优势并缓解其缺陷，本文提出基于注意力的多通道卷积神经网络（AMCNN）用于文本分类。AMCNN利用双向长短期记忆将词的历史与未来信息编码为高维表示，从而充分表达句子前后信息。然后应用标量注意力和向量注意力获得多通道表示。标量注意力可计算词级重要性，向量注意力可计算特征级重要性。在分类任务中，AMCNN使用CNN结构在标量和向量注意力机制生成的表示上捕捉词关系，而非计算加权和。它能有效提取文本的n-gram特征。基准数据集上的实验结果表明，AMCNN优于SOTA方法。此外，可视化结果验证了多通道表示的语义丰富性。
引用
@article{arxiv.2006.16174,
title = {Multichannel CNN with Attention for Text Classification},
author = {Zhenyu Liu and Haiwei Huang and Chaohong Lu and Shengfei Lyu},
journal= {arXiv preprint arXiv:2006.16174},
year = {2020}
}