面向印尼语金融NLP的领域特定语言模型后训练
计算与语言
2023-10-17 v1 人工智能
摘要
BERT和IndoBERT在若干NLP任务中取得了令人印象深刻的性能。已有若干关于其在专业领域（尤其是英语）适配性的研究。我们聚焦于金融领域与印尼语，使用小规模的印尼语金融语料对预训练IndoBERT进行领域后训练。本文中，我们构建了印尼语自监督金融语料、印尼语金融情感分析数据集、印尼语金融主题分类数据集，并发布了一系列面向金融NLP的BERT模型。我们还评估了领域特定后训练在情感分析与主题分类任务上的有效性。我们的发现表明，当语言模型被微调至领域特定下游任务时，后训练提升了其有效性。
引用
@article{arxiv.2310.09736,
title = {Domain-Specific Language Model Post-Training for Indonesian Financial NLP},
author = {Ni Putu Intan Maharani and Yoga Yustiawan and Fauzy Caesar Rochim and Ayu Purwarianti},
journal= {arXiv preprint arXiv:2310.09736},
year = {2023}
}
备注
Accepted in ICEEI 2023 (International Conference on Electrical Engineering and Informatics 2023)