用于仇恨语音检测的 T5、数据增强与集成
计算与语言
2022-10-12 v1
摘要
我们在 6 个不同数据集的 11 个子任务上，使用不同的最先进基线模型对自动仇恨语音（HS）检测进行了相对广泛的调查。我们的动机是确定近期哪个 SoTA 模型最适合自动仇恨语音检测，以及数据增强和集成等方法是否能为最佳模型带来优势。我们进行了 6 项跨任务调查。我们在两个子任务上取得了新的 SoTA——在 HASOC 2020 数据集的子任务 A 和 B 上分别达到 91.73% 和 53.21% 的 macro F1 分数，而之前的 SoTA 分别为 51.52% 和 26.52%。我们在另外两个子任务上取得了接近 SoTA 的结果——在 OLID 2019 数据集子任务 A 上达到 81.66% 的 macro F1 分数，在 HASOC 2021 数据集子任务 A 上达到 82.54%，而 SoTA 分别为 82.9% 和 83.05%。我们进行了误差分析，并使用两种可解释人工智能（XAI）算法（IG 和 SHAP）通过示例揭示两个模型（Bi-LSTM 和 T5）如何做出预测。本工作的其他贡献包括：1）引入一种简单、新颖的机制来纠正 T5 中的类外（OOC）预测；2）详细描述数据增强方法；3）通过使用多个示例和 XAI 揭示 HASOC 2021 数据集中数据标注质量差的问题（支持更好质量控制的需求）；4）公开发布我们的模型检查点和代码以促进透明度。
引用
@article{arxiv.2210.05480,
title = {T5 for Hate Speech, Augmented Data and Ensemble},
author = {Tosin Adewumi and Sana Sabah Sabry and Nosheen Abid and Foteini Liwicki and Marcus Liwicki},
journal= {arXiv preprint arXiv:2210.05480},
year = {2022}
}
备注
15 pages, 18 figures