HaT5：基于文本到文本迁移Transformer的仇恨语言识别
计算与语言
2022-02-14 v1
摘要
我们研究了最先进的（SoTA）架构 T5（在 SuperGLUE 上可用）的性能，并将其与来自 2 个相对多样的数据集的 5 个不同任务上的其他 3 种先前 SoTA 架构进行比较。这些数据集在任务的数量和类型方面是多样的。为了提高性能，我们使用自回归模型扩充训练数据。我们在其中几个任务上取得了接近 SoTA 的结果——OLID 2019 数据集任务 A 的宏 F1 分数为 81.66%，仇恨言论和攻击性内容（HASOC）2021 数据集任务 A 的宏 F1 分数为 82.54%，而 SoTA 分别为 82.9% 和 83.05%。我们进行错误分析，并使用公开可用的算法：Integrated Gradient（IG）解释其中一个模型（Bi-LSTM）为何做出其预测。这是因为可解释人工智能（XAI）对于赢得用户信任至关重要。本工作的主要贡献在于所讨论的 T5 实现方法；使用新的对话式 AI 模型检查点进行数据扩充带来了性能提升；以及揭示了 HASOC 2021 数据集的缺陷。它通过使用一小部分 T5 模型做出正确预测、而测试集真实标签（在我们看来）却不正确的示例，揭示了数据标注不佳的困难。我们还在 HuggingFace hub1 上提供了我们的模型检查点以促进透明度。
引用
@article{arxiv.2202.05690,
title = {HaT5: Hate Language Identification using Text-to-Text Transfer Transformer},
author = {Sana Sabah Sabry and Tosin Adewumi and Nosheen Abid and György Kovacs and Foteini Liwicki and Marcus Liwicki},
journal= {arXiv preprint arXiv:2202.05690},
year = {2022}
}
备注
7 pages, 3 figures , conference