层次化注意力：各类 NLP 任务中真正起作用的因素
计算与语言
2018-08-14 v1
摘要
序列到序列模型中的注意力机制已在多种自然语言处理（NLP）任务中展现出强大的能力与优异的性能，例如句子嵌入、文本生成、机器翻译、机器阅读理解等。遗憾的是，现有注意力机制仅能学习高层或低层特征之一。本文认为，层次化机制的缺失是制约注意力机制性能提升的瓶颈，并基于多级注意力的加权和提出了一种新颖的层次化注意力机制（Ham）。Ham 在中文诗歌生成任务上取得了 0.26 的 SOTA BLEU 分数，且相比 BIDAF、Match-LSTM 等现有机器阅读理解模型平均提升近 6.5%。此外，我们的实验与定理表明，Ham 比现有注意力机制具有更强的泛化与表征能力。
引用
@article{arxiv.1808.03728,
title = {Hierarchical Attention: What Really Counts in Various NLP Tasks},
author = {Zehao Dou and Zhihua Zhang},
journal= {arXiv preprint arXiv:1808.03728},
year = {2018}
}