基于中心性注意力的文本信息聚合
计算与语言
2020-11-17 v1 人工智能
摘要
许多自然语言处理问题需要将文本序列编码为定长向量，这通常涉及对所有词表示的聚合过程，例如池化或自注意力。然而，这些广泛使用的聚合方法未考虑词之间的高阶关系。因此，我们提出一种获取聚合权重的新方法，称为特征向量中心性自注意力（eigen-centrality self-attention）。更具体地，我们为句子中所有词构建全连接图，然后计算特征向量中心性作为每个词的注意力分数。将关系显式建模为图能够捕捉词之间的一些高阶依赖，这有助于我们在 5 个文本分类任务和 1 个 SNLI 任务上取得优于池化、自注意力和动态路由等基线模型的结果。此外，为计算图的主特征向量，我们采用幂法（power method）算法得到特征向量中心性度量。而且，我们还推导了一种迭代方法以获取幂法过程的梯度，从而降低内存消耗与计算需求。
引用
@article{arxiv.2011.07916,
title = {Text Information Aggregation with Centrality Attention},
author = {Jingjing Gong and Hang Yan and Yining Zheng and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:2011.07916},
year = {2020}
}