始终铭记你的目标：神经词汇替换的语义研究及性能提升
计算与语言
2023-05-24 v1
摘要
词汇替换，即在给定上下文中生成可替换特定目标词的合理词，是一项极为强大的技术，可作为多种NLP应用（包括词义归纳与消歧、词汇关系抽取、数据增强等）的支柱。本文中，我们对采用较早期与最新语言及掩码语言模型（LM和MLM，如context2vec、ELMo、BERT、RoBERTa、XLNet）的词汇替换方法进行了大规模比较研究。我们表明，若恰当注入关于目标词的信息，SOTA LMs/MLMs已取得的具竞争力结果还可得到进一步显著提升。我们利用词汇替换数据集上的内在评估与词义归纳（WSI）数据集上的外在评估，针对各LM/MLM比较了若干已有及新的目标词注入方法。在两个WSI数据集上我们取得了新的SOTA结果。此外，我们分析了不同模型生成或标注者给出的目标词与其替换词之间的语义关系类型。
引用
@article{arxiv.2206.11815,
title = {Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution},
author = {Nikolay Arefyev and Boris Sheludko and Alexander Podolskiy and Alexander Panchenko},
journal= {arXiv preprint arXiv:2206.11815},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2006.00031