开发并评估微小至中等规模的土耳其语BERT模型
计算与语言
2023-07-27 v1 人工智能
机器学习
摘要
本研究介绍并评估了tiny、mini、small和medium规模的未大写土耳其语BERT模型，旨在弥补资源较少语言中的研究空白。我们在涵盖来自多源超过75GB文本的多样化数据集上训练这些模型，并在若干任务上测试它们，包括掩码预测、情感分析、新闻分类以及零样本分类。尽管规模较小，我们的模型展现出稳健的性能，包括零样本任务，同时保证了计算效率与更快的执行时间。我们的发现为较小语言模型的开发与应用提供了宝贵见解，尤其是在土耳其语语境下。
引用
@article{arxiv.2307.14134,
title = {Developing and Evaluating Tiny to Medium-Sized Turkish BERT Models},
author = {Himmet Toprak Kesgin and Muzaffer Kaan Yuce and Mehmet Fatih Amasyali},
journal= {arXiv preprint arXiv:2307.14134},
year = {2023}
}