潜在通用任务特定 BERT
计算与语言
2019-05-17 v1 机器学习
机器学习
摘要
本文描述一种语言表示模型，其结合了 Devlin 等人 (2018) 提出的基于 Transformer 的双向编码器表示（BERT）学习机制与 Dehghani 等人 (2018) 描述的通用 Transformer 模型的推广。我们通过为每个训练样本添加表示写作者人格与兴趣主题的潜变量进一步改进该模型。我们还描述一种简单方法，以牺牲泛化至其他领域的能力为代价，提升我们的语言表示在解决特定领域问题上的有用性。最后，我们发布了一个在 1 亿条推文上训练的面向社交文本预训练语言表示模型。
引用
@article{arxiv.1905.06638,
title = {Latent Universal Task-Specific BERT},
author = {Alon Rozental and Zohar Kelrich and Daniel Fleischer},
journal= {arXiv preprint arXiv:1905.06638},
year = {2019}
}
备注
6 pages, 2 figures