论Transformer在社会人口统计学适配中的局限性
计算与语言
2022-08-02 v1
摘要
社会人口统计学因素（如性别或年龄）塑造了我们的语言。先前的研究表明，在传统NLP模型中，引入特定的社会人口统计学因素能够持续地改善各种NLP任务的性能。我们研究了这些先前的发现是否仍然适用于最先进的预训练Transformer。我们使用了三种已被证明能将外部知识（如领域特定或地理知识）融入预训练Transformer的常用专门化方法。我们利用连续语言建模和动态多任务学习进行适配，将语言建模与社会人口统计学类别的预测相耦合，从而对社会人口统计学维度（性别和年龄）的语言表征进行适配。我们使用多语言模型时得到的结果显示，在四种语言（英语、德语、法语和丹麦语）上取得了显著的性能提升。这些发现与先前工作的结果一致，并为成功的社会人口统计学专门化带来了希望。然而，在控制领域和语言等混杂因素后表明，虽然社会人口统计学适配确实改善了下游性能，但这些提升并非总是仅仅源于社会人口统计学知识。我们的结果表明，社会人口统计学专门化虽然非常重要，但在NLP中仍是一个未解决的问题。
引用
@article{arxiv.2208.01029,
title = {On the Limitations of Sociodemographic Adaptation with Transformers},
author = {Chia-Chien Hung and Anne Lauscher and Dirk Hovy and Simone Paolo Ponzetto and Goran Glavaš},
journal= {arXiv preprint arXiv:2208.01029},
year = {2022}
}