THaLLE-ThaiLLM：面向金融和泰语领域的专用小型 LLM —— 技术报告
计算与语言
2026-01-09 v1
摘要
大型语言模型 (LLMs) 在各个领域展现出了巨大潜力，尤其是在银行和金融领域，它们能够自动化复杂任务并大规模增强决策能力。由于隐私、安全和监管方面的考虑，组织通常倾向于 LLM 的本地部署。ThaiLLM 计划旨在增强开源 LLM 的泰语能力，使泰国工业能够利用先进的语言模型。然而，组织经常面临在部署多个专用模型与训练单一多能力模型的高昂成本之间的权衡。为了解决这个问题，我们探索将模型合并作为一种资源高效的替代方案，以开发高性能、多能力的 LLM。我们展示了两个关键实验的结果：首先，将 Qwen-8B 与 ThaiLLM-8B 合并，证明了 ThaiLLM-8B 如何增强泰语通用能力，在 M3 和 M6 O-NET 考试中相比通用指令遵循的 Qwen-8B 有所提升。其次，我们将 Qwen-8B 与 ThaiLLM-8B 和 THaLLE-CFA-8B 同时合并。这种组合在通用和金融领域都带来了进一步的性能提升，在 M3 和 M6 O-NET、Flare-CFA 以及 Thai-IC 基准测试中均表现出提升。该报告展示了模型合并对于高效创建多能力 LLM 的可行性。
引用
@article{arxiv.2601.04597,
title = {THaLLE-ThaiLLM: Domain-Specialized Small LLMs for Finance and Thai -- Technical Report},
author = {KBTG Labs and : and Anuruth Lertpiya and Danupat Khamnuansin and Kantapong Sucharitpongpan and Pornchanan Balee and Tawunrat Chalothorn and Thadpong Pongthawornkamol and Monchai Lertsutthiwong},
journal= {arXiv preprint arXiv:2601.04597},
year = {2026}
}