Simple Transformer与Res-CNN-BiLSTM在网络欺凌分类上的性能比较
计算与语言
2022-06-07 v1 机器学习
摘要
使用基于双向LSTM的架构进行文本分类的训练计算代价高昂且耗时。为此，人们发现了Transformer，其相比传统深度学习架构能有效地给出良好性能。本文针对网络欺凌文本分类问题，给出了简单Transformer网络与Res-CNN-BiLSTM网络之间的基于性能的比较。所得结果表明，我们训练的含65万参数的Transformer在更快的训练速度和更具泛化性的指标上，显著击败了含4882万参数的Res-CNN-BiLSTM。本文还比较了1维字符级嵌入网络、100维glove嵌入网络与Transformer。
引用
@article{arxiv.2206.02206,
title = {Performance Comparison of Simple Transformer and Res-CNN-BiLSTM for Cyberbullying Classification},
author = {Raunak Joshi and Abhishek Gupta},
journal= {arXiv preprint arXiv:2206.02206},
year = {2022}
}
备注
7 Pages with 2 figures and 1 table