用于攻击性与仇恨言论检测任务的带数据增强的噪声自训练
计算与语言
2023-08-01 v1 机器学习
社会与信息网络
摘要
在线社交媒体充斥着攻击性和仇恨性评论，鉴于每秒产生的帖子数量巨大，亟需对其自动检测。为该项任务创建高质量人工标注数据集困难且昂贵，尤其是因为非攻击性帖子远多于攻击性帖子。然而，未标注数据丰富、更易且更廉价获取。在此场景下，可采用自训练方法，利用弱标注样本增加训练数据量。近期的“噪声”自训练方法结合数据增强技术，以确保预测一致性并增强对噪声数据和对抗攻击的鲁棒性。本文中，我们使用三种不同文本数据增强技术，在五种不同规模大小的预训练 BERT 架构上，实验了默认与噪声自训练。我们在两个攻击性/仇恨言论数据集上评估实验，表明（i）无论模型大小，自训练一致地提升性能，在两个数据集上最高达 +1.5% 的 F1-macro；（ii）带文本数据增强的噪声自训练，尽管在类似设定中成功应用，但与默认方法相比，在攻击性和仇恨言论领域上降低了性能，即便使用如回译这样的前沿增强方法。
引用
@article{arxiv.2307.16609,
title = {Noisy Self-Training with Data Augmentations for Offensive and Hate Speech Detection Tasks},
author = {João A. Leite and Carolina Scarton and Diego F. Silva},
journal= {arXiv preprint arXiv:2307.16609},
year = {2023}
}
备注
Accepted to RANLP 2023