斯洛文尼亚语 SuperGLUE 基准：翻译与评估
计算与语言
2022-02-11 v1
摘要
我们提出了一个斯洛文尼亚语机器与人工结合翻译的 SuperGLUE 基准。我们描述了翻译过程以及由于形态学和语法差异而产生的问题。我们以几种模式评估了翻译后的数据集：单语、跨语言和多语言，并考虑了机器翻译和人工翻译训练集之间的差异。结果表明，单语斯洛文尼亚语 SloBERTa 模型优于大规模多语言和三语 BERT 模型，但后者在某些任务上也表现出良好的跨语言性能。斯洛文尼亚语模型的性能仍然落后于最好的英语模型。
引用
@article{arxiv.2202.04994,
title = {Slovene SuperGLUE Benchmark: Translation and Evaluation},
author = {Aleš Žagar and Marko Robnik-Šikonja},
journal= {arXiv preprint arXiv:2202.04994},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2107.10614