LMMS 重探：基于 Transformer 的义项嵌入用于词义消歧及更多应用
计算与语言
2022-04-04 v2 人工智能
摘要
基于神经方法的分布语义学是自然语言处理的基石，并且与人类意义表征有着令人惊讶的联系。近期的基于 Transformer 的语言模型已被证明能够生成上下文词表征，这些表征作为自监督的产物可以可靠地传达特定义项的信息。先前的工作表明，这些上下文表征可用于将大型义项词库准确地表示为义项嵌入，以至于基于距离的词语义项消歧（WSD）任务解决方案优于专门为该任务训练的模型。然而，关于如何使用这些神经语言模型（NLMs）来生成能够更好地利用每个 NLM 意义表征能力的义项嵌入，仍有许多有待理解之处。在这项工作中，我们引入了一种更有原则的方法来利用来自 NLM 所有层的信息，该方法以对 14 种 NLM 变体的探测分析为依据。我们还强调了这些义项嵌入相对于任务特定模型的多功能性，将它们应用于除 WSD 之外的若干义项相关任务，同时展示了使用我们提出的方法相对于先前专注于义项嵌入的工作在性能上的提升。最后，我们讨论了关于层与模型性能差异的意外发现，以及面向下游任务的潜在应用。
引用
@article{arxiv.2105.12449,
title = {LMMS Reloaded: Transformer-based Sense Embeddings for Disambiguation and Beyond},
author = {Daniel Loureiro and Alípio Mário Jorge and Jose Camacho-Collados},
journal= {arXiv preprint arXiv:2105.12449},
year = {2022}
}
备注
Accepted to Artificial Intelligence Journal (AIJ)