基于源嵌入无监督加权拼接的元词嵌入学习
计算与语言
2022-04-27 v1 人工智能
机器学习
摘要
给定使用不同算法和词汇资源学习的多个源词嵌入，元词嵌入学习方法试图学习更准确且覆盖范围更广的词嵌入。先前关于元嵌入的研究反复发现，对源嵌入进行简单的向量拼接是一个具有竞争力的基线方法。然而，简单向量拼接为何以及何时能产生准确的元嵌入，目前尚不清楚。我们证明，加权拼接可被视为每个源嵌入与元嵌入之间的谱匹配操作，旨在最小化成对内积损失。基于这一理论分析，我们提出了两种无监督方法，用于从给定的一组源嵌入中学习最优的拼接权重以创建元嵌入。在多个基准数据集上的实验结果表明，所提出的加权拼接元嵌入方法优于先前提出的元嵌入学习方法。
引用
@article{arxiv.2204.12386,
title = {Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings},
author = {Danushka Bollegala},
journal= {arXiv preprint arXiv:2204.12386},
year = {2022}
}
备注
Proceedings of the 31st International Joint Conference on Artificial Intelligence (IJCAI-2022)