数字人文领域分布语义学任务数据集的构建与评估
计算与语言
2023-10-04 v1
摘要
词嵌入在通用领域已被充分研究，通常在大型文本语料库上训练，并已在词相似性与类比任务上得到评估，也被用作下游 NLP 过程的输入。相比之下，本工作探索词嵌入技术在专门的数字人文领域的适用性。在两个流行的奇幻小说书系上训练各类嵌入模型后，我们在两类任务上评估其性能：术语类比与词入侵。为此，我们与领域专家手动构建测试数据集。贡献包括在不同任务类型上对多种词嵌入技术的评估，发现即使在小语料库上训练的嵌入在例如词入侵任务上也表现良好。此外，我们提供数字人文中广泛且高质量的数据集以供进一步研究，以及易于复现或扩展实验的实现代码。
引用
@article{arxiv.1903.02671,
title = {Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain},
author = {Gerhard Wohlgenannt and Ariadna Barinova and Dmitry Ilvovsky and Ekaterina Chernyak},
journal= {arXiv preprint arXiv:1903.02671},
year = {2023}
}