针对土耳其语语言理解任务微调基于Transformer的编码器
计算与语言
2024-02-01 v1 人工智能
摘要
近年来，基于深度学习以及近期基于Transformer的语言模型主导了自然语言处理的研究。得益于其准确且快速的微调特性，它们已超越传统的基于机器学习的方法，并在许多具有挑战性的自然语言理解（NLU）问题上取得了最先进的结果。最近的研究表明，基于Transformer的模型，如BERT（即来自Transformer的双向编码器表示），已在许多任务上取得了令人瞩目的成就。此外，得益于其迁移学习能力，这些架构允许我们迁移预构建的模型，并将其微调至特定的NLU任务，例如问答。在本研究中，我们为土耳其语提供了一个基于Transformer的模型和一个基线基准。我们成功地将一个以基础设置训练的土耳其语BERT模型，即BERTurk，微调至多个下游任务，并使用土耳其语基准数据集进行了评估。我们表明，我们的研究在土耳其语的命名实体识别、情感分析、问答和文本分类任务上，显著优于其他现有的基线方法。我们公开了这四个微调模型和资源，以确保可复现性，并旨在支持其他土耳其语研究者和应用。
引用
@article{arxiv.2401.17396,
title = {Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks},
author = {Savas Yildirim},
journal= {arXiv preprint arXiv:2401.17396},
year = {2024}
}