多语言开放文本第1版：44种语言的公共领域新闻
计算与语言
2022-06-10 v2
摘要
我们提出多语言开放文本（MOT），一个包含44种语言文本的新多语言语料库，其中许多语言现有的自然语言处理文本资源有限。该语料库的第一版包含超过280万篇新闻文章以及额外的100万条短片段（图片说明、视频描述等），发布于2001至2022年间，采集自美国之音新闻网站。我们描述了收集、过滤和处理数据的过程。源材料属于公共领域，我们的采集使用知识共享许可（CC BY 4.0）授权，所有用于创建语料库的软件均以MIT许可证发布。该语料库将随新文档发布定期更新。
引用
@article{arxiv.2201.05609,
title = {Multilingual Open Text Release 1: Public Domain News in 44 Languages},
author = {Chester Palen-Michel and June Kim and Constantine Lignos},
journal= {arXiv preprint arXiv:2201.05609},
year = {2022}
}
备注
Submitted to LREC 2022