HeRo：面向希伯来语的 RoBERTa 与 Longformer 语言模型
计算与语言
2023-04-24 v1 人工智能
摘要
在本文中，我们通过提供迄今为止最大的预训练数据集 HeDC4、用于标准长度输入的最先进预训练语言模型 HeRo，以及用于长输入序列的高效 transformer 模型 LongHeRo，填补了希伯来语 NLP 社区可用资源中存在的空白。HeRo 模型在情感分析、命名实体识别和问答任务上进行了评估，而 LongHeRo 模型在由长文档组成的数据集上的文档分类任务上进行了评估。HeRo 和 LongHeRo 均展现出最先进的性能。本工作中使用的数据集和模型检查点已公开可用。
引用
@article{arxiv.2304.11077,
title = {HeRo: RoBERTa and Longformer Hebrew Language Models},
author = {Vitaly Shalumov and Harel Haskey},
journal= {arXiv preprint arXiv:2304.11077},
year = {2023}
}