基于XLNet的社交媒体侮辱语言检测
计算与语言
2025-06-30 v1 机器学习
摘要
基于文本的社交媒体交流方式——包括聊天、评论和微博——不仅提升了用户互动，还导致侮辱性内容（包括仇恨言论、种族主义和其他形式的滥用）的增加。由于用户生成内容的庞大，手动审核已不切实际，这迫使需要自动化系统来检测侮辱语言。深度学习模型，特别是利用大规模预训练的迁移学习模型，在理解自然语言方面显示出显著的成功。在本研究中，我们提出一种基于XLNet的自动侮辱语言检测模型，并将其性能与BERT（双向编码器表示从变换器中）进行比较，后者是自然语言处理（NLP）中广泛使用的基准模型。两种模型都使用侮辱语言识别数据集（OLID）进行评估，该数据集是一个包含层次化标注的基准Twitter数据集。我们的实验结果表明，XLNet在检测侮辱内容及其类别方面优于BERT，而BERT在识别侮辱对象方面略胜一筹。此外，我们发现过采样和下采样策略在缓解类别不平衡并提高分类性能方面效果显著。这些发现凸显了迁移学习和基于XLNet的架构在社交媒体平台上构建健壮侮辱语言检测系统的潜力。
引用
@article{arxiv.2506.21795,
title = {Offensive Language Detection on Social Media Using XLNet},
author = {Reem Alothman and Hafida Benhidour and Said Kerrache},
journal= {arXiv preprint arXiv:2506.21795},
year = {2025}
}