小语料库中LSA与Word2vec嵌入的对比研究：以梦境数据库为例
计算与语言
2018-11-22 v2 信息检索
摘要
词嵌入在大规模文本数据集中已被广泛研究。然而，仅有少数研究分析了小语料库的语义表示，这在单人文本生产研究中尤为相关。本文比较了Skip-gram和LSA在此场景下的能力，并测试了两种技术以提取单系列梦境报告中的相关语义模式。在两项语义测试中，LSA在小规模训练语料库上表现出优于Skip-gram的性能。作为研究案例，我们展示了即使在梦境数量少或词语频率低的情况下，LSA也能捕捉梦境报告系列中的相关词语关联。我们认为LSA可用于探索梦境报告中的词语关联，这可能为这一经典的心理学研究领域带来新的见解。
引用
@article{arxiv.1610.01520,
title = {Comparative study of LSA vs Word2vec embeddings in small corpora: a case study in dreams database},
author = {Edgar Altszyler and Mariano Sigman and Sidarta Ribeiro and Diego Fernández Slezak},
journal= {arXiv preprint arXiv:1610.01520},
year = {2018}
}