语言的暗面：暗网中的预训练 Transformer
计算与语言
2024-05-07 v3 机器学习
摘要
预训练 Transformer 在许多 NLP 任务上正挑战人类表现。用于预训练的庞大数据集似乎是其在现有任务上成功的关键。在本文中，我们探究一系列预训练自然语言理解模型在暗网语料分类任务所提供的完全未见句子上的表现。令人惊讶的是，结果显示句法与词汇神经网络即便在微调后也与预训练 Transformer 表现相当。仅在我们所称的极端领域自适应——即以全部新颖语料重新训练掩码语言模型任务——之后，预训练 Transformer 才达到其标准的高性能。这表明庞大的预训练语料可能给 Transformer 带来意料之外的帮助，因为它们已接触到许多可能的句子。
引用
@article{arxiv.2201.05613,
title = {The Dark Side of the Language: Pre-trained Transformers in the DarkNet},
author = {Leonardo Ranaldi and Aria Nourbakhsh and Arianna Patrizi and Elena Sofia Ruzzetti and Dario Onorati and Francesca Fallucchi and Fabio Massimo Zanzotto},
journal= {arXiv preprint arXiv:2201.05613},
year = {2024}
}