基于内容本地化的低资源阿拉伯语方言情感与仇恨行为分析系统：从英语到黎凡特与海湾方言
计算与语言
2023-12-08 v1 人工智能
摘要
尽管在线社会运动可以在社交媒体上迅速传播，但语言可能成为及时监控和分析底层在线社会行为（OSB）的障碍。对于社交媒体上的低资源语言（如阿拉伯语方言，即阿拉伯人在社交媒体上使用的主要语言）而言，情况尤其如此。因此，提供解决方案以有效利用高资源语言的资源来解决低资源语言中依赖语言的 OSB 分析至关重要。本文提出将高资源语言中的资源内容本地化为低资源阿拉伯语方言。内容本地化超越了将文本从一种语言转换为另一种语言的内容翻译；内容本地化使文化、语言细微差别和区域偏好从一种语言适应到特定的语言/方言。自动化理解不同地区自然且熟悉的日常表达，是实现更广泛的 OSB 分析的关键，特别是对于智慧城市而言。在本文中，我们利用基于内容本地化的神经机器翻译，为两种低资源阿拉伯语方言（黎凡特方言和海湾方言）开发了情感和仇恨分类器。不仅如此，我们还利用无监督学习，通过从相应数据中推断隐藏主题并以这些主题的母语/方言提供连贯解释，来促进情感和仇恨预测的分析。在真实数据上的实验评估和 COVID-19 概念验证案例研究验证了我们提出的系统在精确区分情感和准确识别黎凡特和海湾阿拉伯语方言仇恨内容方面的有效性。我们的发现阐明了考虑同一语言内方言独特性质的重要性，忽视方言方面将导致误导性的分析。
引用
@article{arxiv.2312.03727,
title = {Content-Localization based System for Analyzing Sentiment and Hate Behaviors in Low-Resource Dialectal Arabic: English to Levantine and Gulf},
author = {Fatimah Alzamzami and Abdulmotaleb El Saddik},
journal= {arXiv preprint arXiv:2312.03727},
year = {2023}
}