基于梯度的对抗训练在Transformer网络上检测值得核查的事实性声明
计算与语言
2020-05-22 v2 机器学习
摘要
我们针对检测值得核查的声明这一任务，研究了在Transformer神经网络模型上进行对抗训练的有效性。在这项工作中，我们提出了首个对抗正则化的、基于Transformer的声明识别模型，该模型在多个具有挑战性的基准上取得了最先进的结果。我们在ClaimBuster数据集和CLEF2019数据集上分别比当前最先进的模型获得了4.70个F1分数的提升。在此过程中，我们提出了一种将对抗训练应用于Transformer模型的方法，该方法有潜力推广到许多类似的文本分类任务。除结果外，我们发布了我们的代码库和人工标注的数据集。我们还通过一个公开的实时API展示了我们模型在真实世界中的使用。
引用
@article{arxiv.2002.07725,
title = {Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims},
author = {Kevin Meng and Damian Jimenez and Fatma Arslan and Jacob Daniel Devasier and Daniel Obembe and Chengkai Li},
journal= {arXiv preprint arXiv:2002.07725},
year = {2020}
}
备注
11 pages, 4 figures, 6 tables