双向上下文感知层次注意力网络用于文档理解
计算与语言
2019-08-19 v1 机器学习
摘要
层次注意力网络（HAN）已取得重大进展，但存在一个主要局限：在第一层，每个句子在完全隔离的状态下被编码。在本工作中，我们提出并比较了 HAN 的若干改进版本，其中句子编码器能够做出上下文感知的注意力决策（CAHAN）。此外，我们提出了一种双向文档编码器，其以前向与后向方式处理文档，将前文与后文句子作为上下文。在三个大规模情感与主题分类数据集上的实验表明，CAHAN 的双向版本处处优于 HAN，且仅增加少量计算时间。尽管结果令人鼓舞，我们预期 CAHAN 在需要更深层次理解输入文档的任务（如抽取式摘要）上优势将更为明显。代码已公开可用。
引用
@article{arxiv.1908.06006,
title = {Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding},
author = {Jean-Baptiste Remy and Antoine Jean-Pierre Tixier and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:1908.06006},
year = {2019}
}