TransDrift：基于 Transformer 的词嵌入漂移建模
计算与语言
2022-06-17 v1 机器学习
摘要
在现代 NLP 应用中，词嵌入是可在多项任务间便捷共享的关键基础组件。然而，随着文本分布的变化和词义随时间演化，若词表示不符合数据漂移，使用这些嵌入的下游应用便会受到影响。因此，保持词嵌入与底层数据分布一致是一个关键问题。本工作中，我们解决该问题并提出 TransDrift，一种基于 transformer 的词嵌入预测模型。借助 transformer 的灵活性，我们的模型准确学习嵌入漂移的动态并预测未来嵌入。在实验中，我们与现有方法比较，表明我们的模型比基线对词嵌入的预测显著更准确。关键的是，通过将预测嵌入作为下游分类任务的骨干，我们表明我们的嵌入相较于先前方法带来了更优的性能。
引用
@article{arxiv.2206.08081,
title = {TransDrift: Modeling Word-Embedding Drift using Transformer},
author = {Nishtha Madaan and Prateek Chaudhury and Nishant Kumar and Srikanta Bedathur},
journal= {arXiv preprint arXiv:2206.08081},
year = {2022}
}
备注
10 pages