用MoH遏制仇恨：印地语-英语语码转换语言中的仇恨言论检测

社交媒体已成为世界各地人们表达意见的基石。由于匿名性带来的更大自由感，人们有可能无视网络社交礼仪并在不面临严重后果的情况下攻击他人，不可避免地传播了仇恨言论。当前过滤网络内容和抵消仇恨传播的措施还不够深入。造成这一现象的一个因素是社交媒体中区域语言的流行以及缺乏语言灵活的仇恨言论检测器。本研究专注于分析印地语-英语语码转换语言中的仇恨言论。我们的方法探索了转换技术以捕获精确的文本表示。为了保持数据结构并将其与现有算法一起使用，我们开发了 MoH（Map Only Hindi），在印地语中意为“爱”。MoH 流水线包括语言识别，以及使用罗马印地语词汇知识库进行罗马字母到天城体印地语的音译。最后，它采用了微调过的 Multilingual Bert 和 MuRIL 语言模型。我们在三个数据集上进行了多项定量实验研究，并使用 Precision、Recall 和 F1 指标评估了性能。第一个实验研究了 MoH 映射文本在经典机器学习模型上的性能，结果显示 F1 分数平均提高了 13\%。第二个实验将本研究的分数与基线模型的分数进行了比较，性能提升了 6\%。最后，第三个实验使用现有的音译库通过各种数据模拟测试了所提出的 MoH 技术。在此，MoH 以 15\% 的优势胜过其他方法。我们的结果表明，在所有三个数据集上的 SOTA 分数均有显著提升。