设计适应多样化世界观的 NLP 系统
计算与语言
2024-05-21 v1
摘要
自然语言推理 (NLI) 是评估 AI 中语言理解的基础。然而，进展停滞，模型在模糊示例上失败并表现出差劲的泛化能力。我们认为，这源于忽视意义的主观本质，而这种本质与个人的 worldview (worldview，大致翻译为世界观) 密切相关。现有 NLP 数据集往往通过聚合标签或过滤掉不同意见来隐藏这一点。我们提出一种 perspectivist 方法：构建捕获注释者人口统计学特征、价值观以及标签理由的数据集，以显式建模多样化的世界观。我们针对 SBIC 数据集的子集进行初始实验，表明即使仅具备有限的注释者元数据，也可提升模型性能。
引用
@article{arxiv.2405.11197,
title = {Designing NLP Systems That Adapt to Diverse Worldviews},
author = {Claudiu Creanga and Liviu P. Dinu},
journal= {arXiv preprint arXiv:2405.11197},
year = {2024}
}