词嵌入在事件与实体共指消解中的综合比较
计算与语言
2021-10-12 v1 机器学习
摘要
共指消解是一项重要的 NLP 任务,大多数最先进的方法依赖词嵌入进行词表示。然而,文献中很大程度上被忽视的一个问题是在该任务中跨族和族内不同嵌入的性能比较。因此,我们将研究置于事件与实体共指消解(EvCR 与 EnCR)的背景下,并解决两个问题:1) 性能(预测与运行时间)与嵌入规模之间是否存在权衡?2) 各嵌入在族内和跨族的性能如何比较?我们的实验揭示了若干有趣发现。首先,我们观察到性能相对于嵌入规模存在收益递减。例如,仅使用字符嵌入的模型达到了最大模型(Elmo、GloVe、Character)性能的 86%,而规模仅为后者的 1.2%。其次,使用多嵌入的较大模型总体学习更快,尽管每轮更慢。但在测试时它仍更慢。最后,Elmo 在 EvCR 和 EnCR 上均表现最佳,而 GloVe 和 FastText 分别在 EvCR 和 EnCR 中表现最佳。
引用
@article{arxiv.2110.05115,
title = {A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution},
author = {Judicael Poumay and Ashwin Ittoo},
journal= {arXiv preprint arXiv:2110.05115},
year = {2021}
}
备注
10 pages, 1 table,10 figures, to be published in Findings of EMNLP 2021