基于文本重构的n元词组袋表示性质分析
计算与语言
2018-09-19 v1
摘要
尽管简单，n元词组袋（bag-of-n-grams）句子表示已被发现在某些自然语言处理任务中表现出色。然而，近年来它未受到太多关注，且有必要对其性质做进一步分析。我们提出一个框架来研究通用n元词组袋句子表示所捕获信息的数量与类型。我们首先使用句子重构作为工具，获得包含句子通用信息的n元词组袋表示。随后，我们使用所获得的表示运行预测任务（句子长度、词内容、短语内容和词序），以探究该表示所捕获的具体信息类型。我们的分析表明，n元词组袋表示确实包含句子结构层面的信息。然而，经验上，将更高阶n的n元词组纳入其中，除短语内容信息外，对编码更多通用信息几乎无帮助。
引用
@article{arxiv.1809.06502,
title = {Analysis of Bag-of-n-grams Representation's Properties Based on Textual Reconstruction},
author = {Qi Huang and Zhanghao Chen and Zijie Lu and Yuan Ye},
journal= {arXiv preprint arXiv:1809.06502},
year = {2018}
}