游戏视角:面向更具包容性 NLP 系统的多视角方法
计算与语言
2026-01-13 v2 人工智能
摘要
在自然语言处理 (NLP) 领域,处理人类不同意见的常用方法是将注释员的观点进行聚合,以建立单一的真实标签。然而,先前的研究表明,忽略个体意见可能会导致对少数派视角的低估,尤其是在主观性任务中,注释员可能因其个人偏好而系统性地产生分歧。鉴于标签反映了个体多样化的背景、生活经历和价值观,本研究提出了一种新型的多视角方法,利用软标签,以鼓励开发下一代更具包容性和多元化的视角感知模型。我们在涵盖仇恨言论、讽刺、滥用语言和立场检测等多种主观文本分类任务上进行了广泛分析,突出捕捉人类分歧的重要性,这在传统聚合方法中常被忽视。结果表明,多视角方法不仅在衡量 Jensen-Shannon 散度 (JSD) 时更贴近人类标签分布,还实现了更优的分类性能(更高的 F1 分数),超越了传统方法。然而,该方法在讽刺和立场检测等任务中表现出较低的置信度,可能是由于这些文本本身的主观性所致。最后,在利用可解释人工智能 (XAI) 探索模型不确定性方面,我们发现能够揭示模型预测的有意义见解。
引用
@article{arxiv.2506.20209,
title = {Perspectives in Play: A Multi-Perspective Approach for More Inclusive NLP Systems},
author = {Benedetta Muscato and Lucia Passaro and Gizem Gezici and Fosca Giannotti},
journal= {arXiv preprint arXiv:2506.20209},
year = {2026}
}