raceBERT——一种基于Transformer的从姓名预测种族与民族模型
计算与语言
2021-12-10 v3 机器学习
摘要
本文提出raceBERT——一种基于Transformer的从姓名中字符序列预测种族与民族的模型，以及配套的Python包。该模型使用在佛罗里达州美国选民登记数据集上训练的基于Transformer的模型，预测一个姓名属于5个美国人口普查种族类别（白人、黑人、西班牙裔、亚裔及太平洋岛民、美洲印第安及阿拉斯加原住民）的可能性。我在Sood和Laohaprapanon（2018）的工作基础上，将其LSTM模型替换为基于Transformer的模型（预训练BERT模型，以及从头训练的roBERTa模型）并比较结果。据我所知，raceBERT在使用姓名进行种族预测方面达到了最先进结果，平均f1分数为0.86——比先前最先进水平提高4.1%，对非白人姓名的提升达15-17%。
引用
@article{arxiv.2112.03807,
title = {raceBERT -- A Transformer-based Model for Predicting Race and Ethnicity from Names},
author = {Prasanna Parasurama},
journal= {arXiv preprint arXiv:2112.03807},
year = {2021}
}
备注
See http://github.com/parasurama/raceBERT