泰语财务领域适配 THaLLE -- 技术报告
计算与语言
2024-11-28 v1 人工智能
摘要
大语言模型(LLMs)在通用任务中表现出色，但在处理领域特定挑战时（如专业术语和本地化法规）表现不足。现有的金融LLMs（如FinGPT和BloombergGPT）缺乏对泰语金融领域的支持。我们开发了一个针对泰语金融领域的LLM，采用来自泰证券交易所的投资顾问(IC)考试数据集。为解决数据集的局限性，我们应用了数据增强、ReLoRA进行高效训练、Continued Pretraining (CPT)进行领域知识学习，以及Rank-Stabilized LoRA (rsLoRA)进行微调。监督式微调(Supervised Fine-Tuning, SFT)模拟考试情景，而Direct Preference Optimization (DPO)则通过反馈进行模型优化。该模型在IC考试的P1、P2和P3三个等级分别取得了72%、72%和84%的成绩，展示了其在泰语金融咨询任务中的有效性及其在专业化应用中的潜力。
引用
@article{arxiv.2411.18242,
title = {Thai Financial Domain Adaptation of THaLLE -- Technical Report},
author = {KBTG Labs and Atthakorn Petchsod and Pornchanan Balee and Danupat Khamnuansin and Anuruth Lertpiya and Chanatip Saetia and Tawunrat Chalothorn and Thadpong Pongthawornkamol and Monchai Lertsutthiwong},
journal= {arXiv preprint arXiv:2411.18242},
year = {2024}
}