WikiAtomicEdits:用于建模语言与话语的维基百科多语言编辑语料库
计算与语言
2018-08-29 v1
摘要
我们发布了一个涵盖 8 种语言、包含 4300 万条原子编辑的语料库。这些编辑从维基百科编辑历史中挖掘得到,由人类编辑向已有句子插入或从中删除一个连续短语的实例构成。我们利用所收集的数据表明,编辑过程中生成的语言不同于我们在标准语料中观察到的语言,且基于编辑训练的模型比基于原始非结构化文本训练的模型编码了语义与话语的不同方面。我们发布完整语料库作为资源,以辅助语义、话语与表示学习领域的持续研究。
引用
@article{arxiv.1808.09422,
title = {WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse},
author = {Manaal Faruqui and Ellie Pavlick and Ian Tenney and Dipanjan Das},
journal= {arXiv preprint arXiv:1808.09422},
year = {2018}
}