中文

自然语言处理中的多样性量化调查:为何、什么、哪里以及如何

计算与语言 2026-03-16 v3

摘要

多样性概念在近年来日益受到自然语言处理(NLP)领域的关注。它已成为数据集和系统的推荐属性,广泛使用的衡量手段,但常以非正式方式处理,缺乏明确的推荐依据,且跨论文之间存在诸多不一致。迄今为止,几乎没有尝试对 NLP 中的多样性概念进行系统梳理。为此,我们借鉴其他科学领域中对多样性概念更为彻底 conceptualization 的做法。我们基于生态学与经济学中提出的统一框架(Stirling, 2007),区分了多样性的三个维度:多样性、平衡性与不平衡性。我们调查了 ACL Anthology 中超过 300 篇近期相关论文,构建了 NLP 特有的四维框架:多样性为何重要、测量何处、测量何处以及如何。我们的分析提高了 NLP 中多样性方法的可比性,揭示了新兴趋势,也为该领域提出了建议。

关键词

引用

@article{arxiv.2507.20858,
  title  = {A survey of diversity quantification in natural language processing: The why, what, where and how},
  author = {Louis Estève and Marie-Catherine de Marneffe and Nurit Melnik and Agata Savary and Olha Kanishcheva},
  journal= {arXiv preprint arXiv:2507.20858},
  year   = {2026}
}