理解Transformer在Twitter机器人检测中的作用
计算与语言
2021-04-14 v1 机器学习
摘要
本文阐明了在社交媒体数据上微调对神经语言模型内部表示的影响。我们聚焦于Twitter中的机器人检测，这是缓解和对抗社交媒体中自动传播虚假信息与偏见的关键任务。我们研究了使用预训练语言模型，仅基于内容来检测由机器人或人类账户生成的推文。不同于GLUE等基准中的普遍趋势——BERT通常在常规文本的大多数分类任务上优于GPT和GPT-2等生成式transformer，我们观察到在机器人检测任务上微调生成式transformer产生了更高准确率。我们分析了各transformer的架构组件，并研究了微调对其隐藏状态和输出表示的影响。在我们的发现中，我们表明BERT在预训练期间捕获的部分句法信息与分布特性在微调后丢失，而生成式预训练方法得以保留这些特性。
引用
@article{arxiv.2104.06182,
title = {Understanding Transformers for Bot Detection in Twitter},
author = {Andres Garcia-Silva and Cristian Berrio and Jose Manuel Gomez-Perez},
journal= {arXiv preprint arXiv:2104.06182},
year = {2021}
}