探究预训练语言模型用于仇恨言论检测的关键学习动态

尽管预训练语言模型（PLMs）已被广泛采用，但关于其各项关键层面如何影响其在仇恨言论检测中性能的研究仍然缺乏。通过五个研究问题，我们的发现与建议为实证调查 PLMs 在仇恨言论检测中的不同使用层面奠定了基础。我们深入比较了不同的预训练模型，评估了其种子鲁棒性、微调设置以及预训练数据收集时间的影响。我们的分析揭示了预训练期间下游任务的早期峰值、使用更新预训练语料库的有限收益，以及微调过程中特定层的重要性。我们进一步对领域特定模型的使用提出质疑，并强调了构建动态数据集以对仇恨言论检测进行基准测试的必要性。