预训练语言模型在土耳其语地址解析中的比较
计算与语言
2023-06-27 v1 机器学习
摘要
基于 Transformer 的预训练模型（如 BERT 及其变体）在大型语料上训练，已展现出在自然语言处理（NLP）任务上的巨大成功。大多数学术工作基于英语；然而，多语言和特定语言研究的数量稳步增长。此外，若干研究声称特定语言模型在各种任务上优于多语言模型。因此，学界倾向于针对其案例研究的语言具体地训练或微调模型。本文关注土耳其语地图数据，并全面评估多语言及土耳其语的 BERT、DistilBERT、ELECTRA 和 RoBERTa。此外，除标准的一层微调方法外，我们还提出一种多层感知机（MLP）用于微调 BERT。对于数据集，构建了一个质量相对较高、中等规模的地址解析语料。在该数据集上的实验表明，采用 MLP 微调的土耳其语特定模型相较于多语言微调模型取得了略优的结果。此外，地址词元表征的可视化进一步表明了 BERT 变体在分类各类地址上的有效性。
引用
@article{arxiv.2306.13947,
title = {Comparison of Pre-trained Language Models for Turkish Address Parsing},
author = {Muhammed Cihat Ünal and Betül Aygün and Aydın Gerek},
journal= {arXiv preprint arXiv:2306.13947},
year = {2023}
}
备注
published in 16th UYMS (2023) https://ekitap.atauni.edu.tr/index.php/product/16-ulusal-yazilim-muhendisligi-sempozyumu-bildiri-kitabi/