OSACT4 攻击性语言检测共享任务：基于深度预处理的方法
计算与语言
2020-05-18 v1
摘要
预处理阶段是文本分类流程中的关键阶段之一。本研究旨在探讨预处理阶段对文本分类的影响，特别是针对阿拉伯语文本的攻击性语言与仇恨言论分类。社交媒体中使用的阿拉伯语为非正式语言，且以阿拉伯方言书写，这使得文本分类任务极为复杂。预处理有助于降维并去除无用内容。我们在进一步处理并将数据输入分类模型之前，对数据集应用了深度预处理技术。基于深度预处理的方法在第四届开源阿拉伯语语料库及语料处理工具研讨会（OSACT）的攻击性语言检测与仇恨言论检测共享任务中展现出显著影响。我们的团队在子任务 A（攻击性语言检测）中获得第三名，在子任务 B（仇恨言论检测）中获得第一名，分别在 F1 分数上达到 89% 和 95%，就阿拉伯语仇恨言论检测的 F1、准确率、召回率和精确率而言提供了当前最优性能。
引用
@article{arxiv.2005.07297,
title = {OSACT4 Shared Task on Offensive Language Detection: Intensive Preprocessing-Based Approach},
author = {Fatemah Husain},
journal= {arXiv preprint arXiv:2005.07297},
year = {2020}
}
备注
Proceedings of the Twelfth International Conference on Language Resources and Evaluation (LREC 2020), Marseille, France (2020)