一种用于句子分类的注意力门控卷积神经网络
计算与语言
2018-12-31 v3 机器学习
摘要
句子分类非常具有挑战性，因为句子包含的上下文信息有限。本文中，我们提出了一种用于句子分类的注意力门控卷积神经网络（AGCNN），其通过使用专用卷积编码器从不同大小的特征上下文窗口生成注意力权重。它充分利用有限的上下文信息来提取并增强重要特征在预测句子类别中的影响。实验结果表明，我们的模型可比标准 CNN 模型准确率提高至多 ，并在六项任务中的四项上取得优于基线的竞争性结果。此外，我们设计了一种激活函数，即自然对数重缩放修正线性单元（NLReLU）。实验显示 NLReLU 优于 ReLU，且在 AGCNN 上与其它知名激活函数相当。
引用
@article{arxiv.1808.07325,
title = {An Attention-Gated Convolutional Neural Network for Sentence Classification},
author = {Yang Liu and Lixin Ji and Ruiyang Huang and Tuosiyu Ming and Chao Gao and Jianpeng Zhang},
journal= {arXiv preprint arXiv:1808.07325},
year = {2018}
}
备注
Accepted for publication in the Intelligent Data Analysis journal, 19 pages, 4 figures and 5 tables