DiaNet：基于 BERT 与层次注意力多任务学习的细粒度方言识别
计算与语言
2019-11-01 v1 机器学习
摘要
语言变体及方言的预测是一项重要的语言处理任务，具有广泛应用。对母语人口约 3 亿的阿拉伯语而言，多数变体仍缺乏支持。为缓解此瓶颈，我们呈现一个覆盖全部 21 个阿拉伯国家 319 个城市的超大规模数据集。我们提出一种层次注意力多任务学习（HA-MTL）方法，在城市、州和国家层级上利用我们的数据进行方言识别。我们亦评估了 BERT 在这三项任务上的使用，并与 MTL 方法比较。我们对数据和模型进行了基准测试并公开发布。
引用
@article{arxiv.1910.14243,
title = {DiaNet: BERT and Hierarchical Attention Multi-Task Learning of Fine-Grained Dialect},
author = {Muhammad Abdul-Mageed and Chiyu Zhang and AbdelRahim Elmadany and Arun Rajendran and Lyle Ungar},
journal= {arXiv preprint arXiv:1910.14243},
year = {2019}
}