TULIP: 适配开源大语言模型以服务于代表性不足的语言和专业金融任务
计算与语言
2025-08-25 v1
摘要
随着大语言模型近年来的日益普及，其在金融领域的应用具有巨大潜力。尽管更大的专有模型表现卓越，但作为通过API提供的黑箱解决方案，可以本地部署的较小模型为适应性和隐私提供了机会。尤其在敏感信息管理和领域知识应用重要的场景，如金融领域，增强较小模型的能力变得至关重要，尤其是对于代表性不足的语言。在本工作中，我们引入了TULIP模型，将Llama 3.1 8B和Qwen 2.5 7B适配于领域和语言适应，聚焦于金融土耳其语用例。五阶段开发流程包括数据收集、持续预训练(CPT)、基准设计、合成数据生成和监督微调(SFT)。结果表明，这些模型的能力可以得到增强，以有效完成该特定领域和语言中的目标任务。
引用
@article{arxiv.2508.16243,
title = {TULIP: Adapting Open-Source Large Language Models for Underrepresented Languages and Specialized Financial Tasks},
author = {İrem Demirtaş and Burak Payzun and Seçil Arslan},
journal= {arXiv preprint arXiv:2508.16243},
year = {2025}
}
备注
IJCAI 2025 - FinLLM Workshop