Hi-Transformer：用于高效且有效长文档建模的层次交互 Transformer
计算与语言
2021-12-10 v3
摘要
Transformer 对文本建模十分重要。然而，由于其随输入文本长度呈二次复杂度，它难以处理长文档。为解决此问题，我们提出一种层次交互 Transformer（Hi-Transformer）用于高效且有效的长文档建模。Hi-Transformer 以层次方式建模文档，即先学习句子表示，再学习文档表示。它可有效降低复杂度，同时在每个句子建模中捕获全局文档上下文。更具体地，我们首先使用句子 Transformer 学习各句子的表示；随后使用文档 Transformer 从这些句子表示中建模全局文档上下文；接着使用另一个句子 Transformer 利用全局文档上下文增强句子建模；最后使用层次池化方法获得文档嵌入。在三个基准数据集上的大量实验验证了 Hi-Transformer 在长文档建模中的效率与有效性。
引用
@article{arxiv.2106.01040,
title = {Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling},
author = {Chuhan Wu and Fangzhao Wu and Tao Qi and Yongfeng Huang},
journal= {arXiv preprint arXiv:2106.01040},
year = {2021}
}
备注
ACL 2021