关于从英语到印地语维基百科的有效知识迁移
计算与语言
2024-12-10 v1 信息检索
机器学习
摘要
尽管维基百科是最大的多语言百科全书,但它本质上仍是不完整的。高资源语言(HRL,如英语)与低资源语言(LRL,如印地语)之间的内容质量存在显著差异,许多低资源语言文章缺乏充分信息。为弥合这些内容差距,我们提出了一种轻量级框架以增强英语与印地语之间的知识公平性。当英语维基百科页面未及时更新时,我们的框架从现成可用的外部资源(如英语书籍)中提取相关信息,并利用大型语言模型的上下文学习能力将其适配为符合维基百科独特风格的内容,包括其中立观点(NPOV)政策。适配后的内容随后被机器翻译为印地语,以整合到相应的维基百科文章中。另一方面,如果英语版本内容全面且及时,框架则直接从英语向印地语迁移知识。我们的框架有效为印地语维基百科各章节生成新内容,根据自动评估和人工判断评估,分别将印地语维基百科文章提升了 65% 和 62%。
引用
@article{arxiv.2412.05708,
title = {On the effective transfer of knowledge from English to Hindi Wikipedia},
author = {Paramita Das and Amartya Roy and Ritabrata Chakraborty and Animesh Mukherjee},
journal= {arXiv preprint arXiv:2412.05708},
year = {2024}
}
备注
accepted at COLING Industry Track 2025