利用图修正的 Context-to-Vector 改进词嵌入
计算与语言
2023-03-24 v2 人工智能
摘要
尽管由大规模预训练模型生成的上下文嵌入在许多任务中表现良好,传统的静态嵌入(例如 Skip-gram、Word2Vec)由于其低计算成本、易于部署和稳定性,在低资源与轻量级场景中仍发挥着重要作用。在本文中,我们旨在通过以下方式改进词嵌入:1)将现有预训练模型中更多的上下文信息融入 Skip-gram 框架,我们称之为 Context-to-Vec;2)提出一种不依赖于训练、利用先验同义知识与加权向量分布的静态嵌入后处理修正方法。通过 extrinsic 与 intrinsic 任务,我们的方法被充分证明大幅优于基线。
引用
@article{arxiv.2210.16848,
title = {Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings},
author = {Jiangbin Zheng and Yile Wang and Ge Wang and Jun Xia and Yufei Huang and Guojiang Zhao and Yue Zhang and Stan Z. Li},
journal= {arXiv preprint arXiv:2210.16848},
year = {2023}
}
备注
Accepted to ACL 2022