语言建模有意义：通过 WordNet 传播表示以实现全覆盖词义消歧
计算与语言
2019-06-25 v1
摘要
上下文嵌入代表了从神经语言建模（NLM）中学习到的新一代语义表示，解决了困扰传统词嵌入的意义混淆问题。在这项工作中，我们展示了上下文嵌入可用于在词义消歧（WSD）任务中取得前所未有的提升。我们的方法侧重于创建对 WordNet 具有全覆盖的义项级嵌入，且无需显式利用义项分布知识或任务特定建模。因此，使用我们表示的简单最近邻（k-NN）方法能够持续超越使用强大神经序列模型的先前系统的性能。我们还分析了在忽略词性与词形特征、需要对完整义项库进行消歧时我们方法的鲁棒性，并揭示了有待改进的不足。最后，我们探索了我们的义项嵌入在上下文嵌入及其相应 NLM 的概念级分析中的应用。
引用
@article{arxiv.1906.10007,
title = {Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation},
author = {Daniel Loureiro and Alipio Jorge},
journal= {arXiv preprint arXiv:1906.10007},
year = {2019}
}
备注
Accepted to ACL 2019. Code and data: https://github.com/danlou/lmms