面向隐式仇恨言论检测的标签感知硬负采样策略与动量对比学习
计算与语言
2024-06-13 v1
摘要
检测隐式仇恨言论——即并非直接包含仇恨言论的文本——仍是一个挑战。近期研究尝试通过对预训练语言模型（如BERT、RoBERTa）应用对比学习来检测隐式仇恨言论，但提出的模型仍未显著优于基于交叉熵损失的学习方法。我们发现，基于随机抽样batch数据进行的对比学习并不鼓励模型学习硬负样本。本文提出标签感知硬负采样策略（LAHN），通过动量集成对比学习鼓励模型从硬负样本中学习细粒度特征，而非随机batch中的天然负样本。LAHN在隐式仇恨言论检测中优于现有模型，无论是在同一数据集还是跨数据集上均表现出色。代码已公开于 https://github.com/Hanyang-HCC-Lab/LAHN 供访问。
引用
@article{arxiv.2406.07886,
title = {Label-aware Hard Negative Sampling Strategies with Momentum Contrastive Learning for Implicit Hate Speech Detection},
author = {Jaehoon Kim and Seungwan Jin and Sohyun Park and Someen Park and Kyungsik Han},
journal= {arXiv preprint arXiv:2406.07886},
year = {2024}
}
备注
Accepted to ACL 2024 Findings