现代多语言文本嵌入技术在民族仇恨言论检测任务中的比较
计算与语言
2026-04-17 v1 机器学习
摘要
在线民族仇恨言论和滥用语言正成为内容审核在多语言环境下以及针对低资源语言（如立陶宅语）的挑战。本文研究了现代多语言句子嵌入模型在立陶宅语、俄语和英语中的民族仇恨言论检测准确度，以及其性能如何依赖于下游建模选择和特征维度。我们引入LtHate—a 个新建立陶宅语民族仇恨语料库，源自新闻门户网站和社交网络，并在LtHate、RuToxic和EnSuperset上对六个现代多语言编码器（potion、gemma、bge、snow、jina、e5）进行基准测试。对于每个嵌入，我们训练一个单类HBOS异常检测器和两个类CatBoost分类器，带和不带主成分分析（PCA）压缩至64维特征向量。跨所有数据集，两类监督模型在准确度和AUC ROC上一致且显著优于单类异常检测，最佳配置在立陶宅语（jina）上达到80.96%准确度和0.887的AUC ROC，在俄语（e5）上达到92.19%准确度和0.978的AUC ROC，在英语（e5压缩后）上达到77.21%准确度和0.859的AUC ROC。PCA压缩在监督设置下几乎保留了所有判别性，同时在无监督异常检测情况下显示出一定的负面影响。这些结果表明，现代多语言句子嵌入结合梯度提升决策树为民族仇恨言论检测应用提供了稳健的软计算解决方案。
引用
@article{arxiv.2604.14907,
title = {Comparison of Modern Multilingual Text Embedding Techniques for Hate Speech Detection Task},
author = {Evaldas Vaiciukynas and Paulius Danenas and Linas Ablonskis and Algirdas Sukys and Edgaras Dambrauskas and Voldemaras Zitkus and Rita Butkiene and Rimantas Butleris},
journal= {arXiv preprint arXiv:2604.14907},
year = {2026}
}
备注
Submitted to Applied Soft Computing (Status: Decision in Process)