评估 NLP 技术的多样性、公平性与包容性：以印度语言为例

为使 NLP 技术被广泛适用、公平且有用，它需要服务于全球语言中多样化的说话者群体，具备公平性（即不偏向任何特定语言），并包容所有用户，尤其在计算约束常见的低资源环境中。本文提出一种评估范式，从所有三个维度评估 NLP 技术。尽管多样性和包容性在近期文献中已受到关注，公平性目前尚未被探索。我们提议使用基尼系数（Gini coefficient）——一种用于估计社会财富不平等的成熟指标——来填补这一空白。利用我们的范式，我们凸显了当前印度（IN）语言技术在所有三个维度上的窘迫状态（印度语言是一组语言学上庞大且多样的、具有不同说话者人口的语言）。为改进这些指标，我们展示了在模型构建和数据集创建中区域特定选择的重要性，且更重要的是，提出了一种新颖的、可泛化的微调阶段最优资源分配方法。最后，我们讨论了缓解这些偏见的步骤，并鼓励社区在构建语言多样且公平的技術时采用多面评估。