基于模板时间自适应的动态上下文词嵌入学习
计算与语言
2023-06-16 v3
摘要
动态上下文词嵌入（DCWEs）表征词语的时间语义变化。我们提出一种通过学习 DCWEs 的方法：利用时间敏感模板对预训练掩码语言模型（MLM）进行时间适配。给定分别在两个不同时间戳 和 获取语料库的两个快照 和 ，我们首先提出一种无监督方法以选择（a）与 和 均相关的\emph{枢纽}词，以及（b）在每个独立快照中与特定枢纽词关联的\emph{锚}词。随后，我们使用提取的枢纽词和锚词填充人工编写的模板来生成提示。此外，我们提出一种自动方法，从 和 中学习时间敏感模板，无需任何人工监督。接着，我们使用生成的提示通过对预训练 MLM 进行微调以适配 。多项实验表明，我们所提方法降低了 中测试句子的困惑度，优于当前最先进水平。
引用
@article{arxiv.2208.10734,
title = {Learning Dynamic Contextualised Word Embeddings via Template-based Temporal Adaptation},
author = {Xiaohang Tang and Yi Zhou and Danushka Bollegala},
journal= {arXiv preprint arXiv:2208.10734},
year = {2023}
}
备注
Accepted to ACL 2023