基于定长有序遗忘编码的词义消歧
计算与语言
2019-02-28 v1 机器学习
机器学习
摘要
在本文中，我们提出利用定长有序遗忘编码（FOFE）来解决词义消歧（WSD）问题。FOFE 使我们能够将变长词序列编码为理论上唯一的定长表示，该表示可输入前馈神经网络（FFNN），同时保留词间的位置信息。在我们的方法中，基于 FOFE 的 FFNN 用于在未标注语料上训练伪语言模型，随后该预训练语言模型能够将标注语料中多义词实例的上下文抽象为上下文嵌入。接着，我们利用这些上下文嵌入进行 WSD 分类。我们在多个 WSD 数据集上进行了实验，结果表明所提方法能以低得多的计算代价取得与最先进（state-of-the-art）方法相当的性能。
引用
@article{arxiv.1902.10246,
title = {Fixed-Size Ordinally Forgetting Encoding Based Word Sense Disambiguation},
author = {Xi Zhu and Mingbin Xu and Hui Jiang},
journal= {arXiv preprint arXiv:1902.10246},
year = {2019}
}