仇恨言论检测中 NLP 数据增强的全面研究：传统方法、BERT 和 LLM
计算与语言
2024-04-02 v1
摘要
受全球大流行、地区冲突和技术革命（如工业4.0和5.0）的推动，人工智能(AI)、区块链(BLC)、大数据分析(BDA)和数字孪生(DT)/仿真等先进数字技术的应用，使供应链韧性(SCRes)受到广泛关注。然而，仇恨言论领域的数据增强研究仍面临挑战，这些挑战源于社交媒体词汇的动态性以及大规模神经网络需要大量训练数据的要求。此外，广泛使用的词汇替换方法可能无意中改变 intended meaning，从而影响监督机器学习模型的效果。为此，本研究探索了传统方法和当代实践，如大型语言模型(LLM)，包括GPT在仇恨言论检测中的应用。我们提出了一种优化的BERT-based编码器模型的用法，结合上下文余弦相似度过滤，揭示了前人同义替换方法的显著局限性。我们的比较分析涵盖五种流行的增强技术：WordNet 和 Fast-Text 同义替换、Back-translation、BERT-mask 上下文增强和 LLM。我们的分析在五个基准数据集上显示，尽管传统方法如back-translation表现出低标签变更率(0.3-1.5%)，而BERT-based 上下文同义替换虽提供句子多样性，但以高于6%的标签变更率为代价。我们提出的BERT-based 上下文余弦相似度过滤显著将标签变更降低至仅0.05%，并以0.7%更高的F1性能显示其效果。然而，使用GPT-3进行数据增强不仅避免了最高可达七倍的数据增长导致的过拟合，还通过15%提高了嵌入空间覆盖率和1.4%提升的分类F1得分，超过传统方法1.4%，并超过我们的方法0.8%。
引用
@article{arxiv.2404.00303,
title = {A Comprehensive Study on NLP Data Augmentation for Hate Speech Detection: Legacy Methods, BERT, and LLMs},
author = {Md Saroar Jahan and Mourad Oussalah and Djamila Romaissa Beddia and Jhuma kabir Mim and Nabil Arhab},
journal= {arXiv preprint arXiv:2404.00303},
year = {2024}
}
备注
31 page, Table 18, Figure 14