基于句子级 BERT 与多任务学习的社交媒体年龄与性别识别
计算与语言
2019-11-05 v1 机器学习
摘要
社交媒体目前为我们提供了观察生活的窗口，使得了解来自不同地方、具有不同背景、年龄和性别的人们如何使用语言成为可能。本文利用一个新建的带有真实年龄与性别标签的阿拉伯语数据集，在句子级别上以单独及多任务设置学习这些属性。我们的模型基于深度双向神经网络的变体。更具体地，我们构建了带门控循环单元和来自变换器的双向编码器表示（BERT）的模型。我们展示了多任务学习（MTL）在两项任务上的效用，并确认任务特定注意力在此情境下为更优选择。我们还发现单任务 BERT 模型在两项任务上均优于我们最佳的 MTL 模型。我们报告的推文级准确率在年龄任务（三分类）上为 51.43%，在性别任务（二分类）上为 65.30%，两者均以较大优势超越基线。我们的模型与语言无关，因此可应用于其他语言。
引用
@article{arxiv.1911.00637,
title = {Sentence-Level BERT and Multi-Task Learning of Age and Gender in Social Media},
author = {Muhammad Abdul-Mageed and Chiyu Zhang and Arun Rajendran and AbdelRahim Elmadany and Michael Przystupa and Lyle Ungar},
journal= {arXiv preprint arXiv:1911.00637},
year = {2019}
}