以人类注意力为指导学习句子表示
计算与语言
2017-05-10 v2
摘要
近年来，在学习可跨领域使用的通用句子表示方面取得了很大进展。然而，大多数现有模型通常平等对待句子中的每个词。相比之下，大量研究已证明人类通过进行一系列注视和眼跳来高效阅读句子。这促使我们通过为组成词的向量分配不同权重来改进句子表示，这可以视为单句上的注意力机制。为此，我们提出了两种新颖的注意力模型，其中注意力权重是利用人类阅读时间的重要预测因子（即意外度、词性标签和 CCG 超标签）推导得出的。大量实验表明，所提出的方法显著优于最先进的句子表示模型。
引用
@article{arxiv.1609.09189,
title = {Learning Sentence Representation with Guidance of Human Attention},
author = {Shaonan Wang and Jiajun Zhang and Chengqing Zong},
journal= {arXiv preprint arXiv:1609.09189},
year = {2017}
}
备注
accepted to IJCAI2017