面向社会科学的 Transformer 编码器
计算与语言
2022-08-18 v1 人工智能
摘要
高质量文本数据已成为社会科学家的重要数据来源。我们见证了预训练深度神经网络模型（如 BERT 和 RoBERTa）在近期社会科学研究中的成功。本文提出一种紧凑的预训练深度神经网络——面向社会科学的 Transformer 编码器（TESS），专为处理社会科学研究中的文本处理任务而设计。通过两项验证测试，我们证明在训练样本有限（<1,000 个训练实例）时，TESS 平均优于 BERT 和 RoBERTa 达 16.7%。结果显示了 TESS 在社会科学文本处理任务上相对于 BERT 和 RoBERTa 的优越性。最后，我们讨论了模型的局限，并对未来研究者给出建议。
引用
@article{arxiv.2208.08005,
title = {Transformer Encoder for Social Science},
author = {Haosen Ge and In Young Park and Xuancheng Qian and Grace Zeng},
journal= {arXiv preprint arXiv:2208.08005},
year = {2022}
}