面向代码混合仇恨言论的探索性数据分析
计算与语言
2024-03-18 v1
摘要
随着YouTube和Twitter(X等社交媒体平台的流行度提升，线上仇恨言论和网络欺凌的问题显著恶化。自然语言处理(NLP)技术已被证明在自动过滤此类有毒内容方面提供了巨大优势。女性更可能成为线上滥用受害者。然而，针对资源不足的语言中仇恨言论检测的研究似乎不足。本短文，我们提出了一个新型的数据集，包含来自YouTube视频中混合代码Hinglish评论的数据集，这些评论经弱标记为“仇恨言论”和“非仇恨言论”。我们对数据集应用了预处理和探索性数据分析(EDA)技术以获得其特征的洞察。该过程通过情感得分、词云等方式提供了对数据集更好的理解。
引用
@article{arxiv.2403.09709,
title = {Exploratory Data Analysis on Code-mixed Misogynistic Comments},
author = {Sargam Yadav and Abhishek Kaushik and Kevin McDaid},
journal= {arXiv preprint arXiv:2403.09709},
year = {2024}
}
备注
This paper is accepted in the 16th ISDSI-Global Conference 2023 https://isdsi2023.iimranchi.ac.in/