注意力门控卷积神经网络用于句子分类的敏感性分析
计算与语言
2019-10-17 v3 机器学习
摘要
在本文中，我们研究了不同超参数以及不同超参数设置组合对注意力门控卷积神经网络(AGCNNs)性能的影响，例如核窗口大小、特征图数量、dropout层的保留率以及激活函数。我们从广泛的实证结果中得出实用建议。通过敏感性分析，我们进一步改进了AGCNNs的超参数设置。实验表明，我们的方案在AGCNN-NLReLU-rand和AGCNN-SELU-rand上分别实现了平均0.81%和0.67%的提升；在AGCNN-NLReLU-static和AGCNN-SELU-static上分别实现了平均0.47%和0.45%的提升。
关键词
引用
@article{arxiv.1908.06263,
title = {A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification},
author = {Yang Liu and Jianpeng Zhang and Chao Gao and Jinghua Qu and Lixin Ji},
journal= {arXiv preprint arXiv:1908.06263},
year = {2019}
}