RuBioRoBERTa：面向俄语生物医学文本挖掘的预训练语言模型
计算与语言
2022-04-11 v1 人工智能
摘要
本文提出了若干基于 BERT 的俄语生物医学文本挖掘模型（RuBioBERT、RuBioRoBERTa）。这些模型在俄语生物医学领域可自由获取的文本语料上进行预训练。借助该预训练，我们的模型在 RuMedBench（涵盖文本分类、问答、自然语言推理与命名实体识别等多样化任务的俄语医学语言理解基准）上取得了当前最优（state-of-the-art）结果。
引用
@article{arxiv.2204.03951,
title = {RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining},
author = {Alexander Yalunin and Alexander Nesterov and Dmitriy Umerenkov},
journal= {arXiv preprint arXiv:2204.03951},
year = {2022}
}