面向 AI 的维基百科数据：NLP 任务与 AI 辅助编辑的数据集综述
计算机与社会
2024-10-14 v1
摘要
维基百科内容被广泛用于 AI 社区，尤其在语言建模社区中。本文综述了维基百科数据如何被精选以用于 NLP 任务，涵盖预训练、后训练和模型评估。我们指出了更广泛地利用维基百科内容的机会，也指出了语言建模社区如何更好地以维基百科编辑者的需求为中心的 ways。特别是，我们呼吁纳入更多维基百科数据来源、关注针对 LLM 编码维基百科原则的基准测试，以及在维基百科派生数据集中更加关注多语言性。
引用
@article{arxiv.2410.08918,
title = {Wikimedia data for AI: a review of Wikimedia datasets for NLP tasks and AI-assisted editing},
author = {Isaac Johnson and Lucie-Aimée Kaffee and Miriam Redi},
journal= {arXiv preprint arXiv:2410.08918},
year = {2024}
}
备注
Accepted to NLP for Wikipedia Workshop at EMNLP '24