从LDA到BiLSTM-CNN的迁移学习用于Twitter攻击性语言检测
计算与语言
2018-11-08 v1
摘要
我们研究了针对德语Twitter数据自动攻击性语言分类的不同策略。为此，我们采用了顺序组合的BiLSTM-CNN神经网络。基于该模型，测试了三项利用背景知识提升分类性能的迁移学习任务。我们比较了：1. 有监督类别迁移：标注有近攻击性语言类别的社交媒体数据；2. 弱监督类别迁移：标注有所含表情符号的推文；3. 无监督类别迁移：标注有由隐狄利克雷分配（Latent Dirichlet Allocation, LDA）得到的主题聚类的推文。此外，我们探究了三种不同策略在迁移学习中缓解“灾难性遗忘”负面效应的效果。结果表明，迁移学习总体上提升了攻击性语言检测效果。最佳结果通过将我们的模型在推文的无监督主题聚类上预训练，并结合主题性用户聚类信息取得。
引用
@article{arxiv.1811.02906,
title = {Transfer Learning from LDA to BiLSTM-CNN for Offensive Language Detection in Twitter},
author = {Gregor Wiedemann and Eugen Ruppert and Raghav Jindal and Chris Biemann},
journal= {arXiv preprint arXiv:1811.02906},
year = {2018}
}
备注
10 pages, 1 figure