基于 Transformer 的迁移学习用于社会科学文本分析导论
计算与语言
2022-09-01 v2 应用统计
摘要
基于 Transformer 的迁移学习模型有望在基于文本的监督学习任务上以较少训练样本取得高预测精度。因此，它们很可能惠及那些希望获得尽可能准确的基于文本的测度但仅具有限标注训练数据资源的社会科学家。为使社会科学家能在研究中利用这些潜在益处，本文阐释了这些方法如何运作、为何具备优势及其局限。此外，将三种基于 Transformer 的迁移学习模型——BERT（Devlin 等 2019）、RoBERTa（Liu 等 2019）与 Longformer（Beltagy 等 2020）——在三项应用上与常规机器学习算法进行比较。在所有评估任务、文本风格与训练数据集规模下，常规模型均被基于 Transformer 的迁移学习持续超越，从而展示了这些模型可为基于文本的社会科学研究带来的益处。
引用
@article{arxiv.2102.02111,
title = {Introduction to Neural Transfer Learning with Transformers for Social Science Text Analysis},
author = {Sandra Wankmüller},
journal= {arXiv preprint arXiv:2102.02111},
year = {2022}
}
备注
80 pages, 12 figures; changed the title; more focused presentation of contents; moved contents to the appendix; created a new Figure 9; discussion of additional aspects (zero-shot learning, cross-lingual learning, interpretability, foundation models); removed old Figures 4 and 5; made non-essential changes to Figures 1, 2, 4, 6, 7, 8 and 10; changed notation. The original results are unchanged