D3CODE：离散化数据中跨文化差异的分解——面向污言检测与评估
计算与语言
2024-04-18 v1
摘要
尽管人类标注在语言技术中起着关键作用，但标注主观性长期被忽视。最近一些批判性地检视这一问题的研究往往局限于西方语境，仅记录年龄、性别或种族群体间的差异。因此，NLP 对主观性的研究忽略了同一人口统计群体内部个体可能持有多样价值观，这些价值观可能影响其感知，超越群体规范。为了在 NLP 流程中有效融入这些考虑，我们需要来自不同社会和文化群体的大规模平行标注数据集。本文介绍了 \dataset 数据集：一个规模为 4500 多句话、由 4000 多名来自 21 个国家、代表八个地区文化的标注者（性别与年龄均衡）对污言的平行标注数据集。数据集包含沿六大道德基础（关怀、平等、比例、权威、忠诚、净化）捕获的标注者道德价值观。我们的分析揭示了标注者感知存在显著的地区差异，这些差异受个体道德价值观的塑造，为构建具有弹性且在文化上敏感的 NLP 模型提供了关键见解。
引用
@article{arxiv.2404.10857,
title = {D3CODE: Disentangling Disagreements in Data across Cultures on Offensiveness Detection and Evaluation},
author = {Aida Mostafazadeh Davani and Mark Díaz and Dylan Baker and Vinodkumar Prabhakaran},
journal= {arXiv preprint arXiv:2404.10857},
year = {2024}
}