词汇替换非近义词替换：论生成上下文相关词替换的重要性

词汇替换任务是用一个相似的词替换句子中的单个词。理想情况下，这个词不仅应该是近义词，还应很好地融入目标词的周围上下文，同时保持句子的语法结构。词汇替换的最新进展利用了预训练语言模型的掩码词元预测任务来为句子中给定的词生成替换项。借助这项技术，我们引入了ConCat，这是一种简单的增强方法，它利用原始句子来增强发送给模型的上下文信息。与现有方法相比，它在引导模型为目标词做出上下文相关的预测方面非常有效。我们的研究包括通过句子相似度和任务性能进行量化的定量评估。此外，我们进行了定性的人工分析，以验证用户更偏好我们方法提出的替换，而非先前方法。最后，我们在词汇替换的主流基准CoInCo上测试了我们的方法，揭示了该基准的潜在缺陷。这些见解为关于词汇替换评估方式的批判性讨论奠定了基础。