Extrofitting：用语义词典丰富词表示及其向量空间
计算与语言
2018-06-05 v2 人工智能
摘要
我们提出一种使用后处理方法利用语义词典来丰富词表示及其向量空间的方法，称之为 extrofitting。该方法由以下 3 步组成：（i）在所有词向量上扩展 1 个或多个维度，以其代表值填充。（ii）通过对同义词的各代表值取平均并填入扩展维度中来迁移语义知识。这两步使同义词的表示彼此接近。（iii）使用线性判别分析投影向量空间，从而消除带有语义知识的扩展维度。在用 GloVe 实验时，我们发现在部分词相似度任务上我们的方法优于 Faruqui 的 retrofitting。我们还针对词向量维度、词汇表大小以及其他知名预训练词向量（如 Word2Vec、Fasttext）进一步分析了我们的方法。
引用
@article{arxiv.1804.07946,
title = {Extrofitting: Enriching Word Representation and its Vector Space with Semantic Lexicons},
author = {Hwiyeol Jo and Stanley Jungkyu Choi},
journal= {arXiv preprint arXiv:1804.07946},
year = {2018}
}
备注
In Proceedings of the 3rd ACL Workshop on Representation Learning for NLP (RepL4NLP)