具有结构预测的领域特定词嵌入
计算与语言
2022-10-12 v1
摘要
作为寻找良好通用词嵌入的补充,表示学习中的一个重要问题是寻找动态词嵌入,例如跨时间或跨领域的词嵌入。现有方法无法使用或预测子语料库、时间或领域之间的结构信息,且动态嵌入只能在事后对齐进行比较。我们提出了一种新颖的词嵌入方法,可同时为整个语料库提供通用词表示,为每个子语料库提供特定领域的表示,以及子语料库结构和嵌入对齐。我们在《纽约时报》文章以及两个包含科学与哲学文章的英文 Wikipedia 数据集上进行了实证评估。我们的方法称为带结构预测的 Word2Vec (W2VPred),在通用类比测试、特定领域类比测试、多项特定词嵌入评估以及无先验结构给定时的结构预测性能方面,均优于基线方法。作为数字人文领域的一个用例,我们展示了如何为德国文本档案中的高级文学作品提出新的研究问题。
引用
@article{arxiv.2210.04962,
title = {Domain-Specific Word Embeddings with Structure Prediction},
author = {Stephanie Brandl and David Lassner and Anne Baillot and Shinichi Nakajima},
journal= {arXiv preprint arXiv:2210.04962},
year = {2022}
}
备注
accepted at TACL 13 pages, 4 figures