融合 Transformer 注意力与图卷积网络的 RoBERTa-OTA：用于人口学类别多类仇恨言语检测
计算与语言
2026-03-06 v1
摘要
跨人口学类别的多类仇恨言语检测在计算上具有挑战性，由于隐式定向策略和社交媒体内容中的语言可变性。现有方法仅依赖训练数据中学习到的表征，未能显式地整合结构化本体框架以通过形式化领域知识集成来提升分类效果。我们提出了 RoBERTa-OTA，引入了受本体指导的注意力机制，处理文本特征与结构化知识表征，并通过增强图卷积网络进行整合。该架构将 RoBERTa 嵌入与比例缩放注意力层和图神经网络结合起来，将情境语言理解与领域特定语义知识相结合。使用 5 折交叉验证在 39,747 个平衡样本上的评估显示，RoBERTa-OTA 在基线 RoBERTa 实现和现有最新方法之上取得了显著的性能提升。RoBERTa-OTA 实现了 96.04% 的准确率，与标准 RoBERTa 的 95.02% 相比，针对具有挑战性的类别：基于性别的仇恨言语检测提升了 2.36 个百分点，而其他仇恨言语类别提升了 2.38 个百分点。该增强架构仅增加 0.33% 的参数开销，保持了计算效率，为大规模内容审核应用提供了针对细粒度人口学仇恨言语分类的实际优势。
引用
@article{arxiv.2603.04414,
title = {Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks},
author = {Mahmoud Abusaqer and Jamil Saquer},
journal= {arXiv preprint arXiv:2603.04414},
year = {2026}
}
备注
15 pages, 2 figures, 6 tables. Accepted for publication in the Proceedings of the 12th Annual Conference on Computational Science & Computational Intelligence (CSCI'25)