探索英语仇恨言论标注中的跨文化差异：从数据集构建到分析

警告：本文包含可能令人不适或不安的内容。大多数仇恨言论数据集忽视了单一语言内的文化多样性，导致仇恨言论检测存在严重缺陷。为此，我们引入了CREHate，一个跨文化英语仇恨言论数据集。为构建CREHate，我们遵循两步流程：1) 文化相关帖子收集；2) 跨文化标注。我们从以北美为主的SBIC数据集中抽样帖子，并使用通过调查获取的文化特定仇恨关键词，从四个地理上多样的英语国家（澳大利亚、英国、新加坡和南非）收集帖子。标注由这四个国家加上美国收集，以建立各国具有代表性的标签。我们的分析凸显了各国在仇恨言论标注上存在统计显著的差异。CREHate中仅有56.2%的帖子在所有国家间达成一致，最高的成对标签差异率达26%。定性分析表明，标签分歧主要源于对讽刺的不同解读以及标注者在争议性话题上的个人偏见。最后，我们在零样本设定下评估了大语言模型（LLMs），表明当前LLMs在CREHate中对盎格鲁圈国家标签往往表现出更高的准确率。我们的数据集与代码可在 https://github.com/nlee0212/CREHate 获取。