介绍 BEREL：面向拉比编码语言的 BERT 嵌入
计算与语言
2022-08-04 v1
摘要
我们提出了一个用于拉比希伯来语的新预训练语言模型（PLM），称为 Berel（BERT Embeddings for Rabbinic-Encoded Language，面向拉比编码语言的 BERT 嵌入）。尽管已有其他用于处理希伯来语文本的 PLM（如 HeBERT、AlephBert），但它们均在现代希伯来语文本上训练，而现代希伯来语在词汇、形态、句法与正字法规范上与拉比希伯来语差异显著。我们通过一组希伯来语同形异义字挑战集展示了 Berel 在拉比文本上的优越性。我们发布该新模型与同形异义字挑战集以供不受限使用。
引用
@article{arxiv.2208.01875,
title = {Introducing BEREL: BERT Embeddings for Rabbinic-Encoded Language},
author = {Avi Shmidman and Joshua Guedalia and Shaltiel Shmidman and Cheyn Shmuel Shmidman and Eli Handel and Moshe Koppel},
journal= {arXiv preprint arXiv:2208.01875},
year = {2022}
}