注意你的语言：针对语码转换语言的辱骂与攻击性检测
计算与语言
2018-09-25 v1
摘要
在印度次大陆这样的多语言社会中，语码转换语言的使用广受欢迎且为用户提供便利。本文研究在印地语与英语（即 Hinglish）这一使用最广泛的语码转换配对中的攻击与辱骂检测。由于 Hinglish 语言语法、词汇、语义与拼写均不固定，该任务十分困难。我们应用迁移学习并构建了一个基于 LSTM 的模型用于仇恨言论分类。该模型超越了当前最佳模型的表现，确立了其在尚未充分探索的 Hinglish 攻击性文本分类领域中的 SOTA 地位。我们还发布了我们的模型及为研究目的训练的嵌入。
引用
@article{arxiv.1809.08652,
title = {Mind Your Language: Abuse and Offense Detection for Code-Switched Languages},
author = {Raghav Kapoor and Yaman Kumar and Kshitij Rajput and Rajiv Ratn Shah and Ponnurangam Kumaraguru and Roger Zimmermann},
journal= {arXiv preprint arXiv:1809.08652},
year = {2018}
}