Civil Comments 数据集上的有毒评论分类基准
计算与语言
2023-01-27 v1 音频与语音处理
摘要
社交媒体上的有毒评论检测已被证明对内容审核至关重要。本文在一个高度偏斜的多标签仇恨言论数据集上比较了多种不同的模型。我们在比较中考虑了推理时间以及若干用于衡量性能与偏差的指标。我们表明，所有 BERT 模型无论其规模、优化方式还是用于预训练的语言如何，都具有相似性能。RNN 在推理时比任何 BERT 都快得多。BiLSTM 仍是性能与推理时间之间的良好折衷。采用 Focal Loss 的 RoBERTa 在偏差与 AUROC 上提供最佳性能。然而，DistilBERT 兼具良好的 AUROC 与较低的推理时间。所有模型都受到将身份特征相关联的偏差影响。BERT、RNN 和 XLNet 比 CNN 与 Compact Convolutional Transformers 更不敏感。
引用
@article{arxiv.2301.11125,
title = {A benchmark for toxic comment classification on Civil Comments dataset},
author = {Corentin Duchene and Henri Jamet and Pierre Guillaume and Reda Dehak},
journal= {arXiv preprint arXiv:2301.11125},
year = {2023}
}