领域特定 LLM 的微调与利用方法
计算与语言
2024-05-29 v2 人工智能
摘要
近期发布的预训练 Large Language Models (LLMs) 引起了广泛关注，但关于微调和使用领域特定 LLM 的研究仍然稀缺。本研究调查了微调与利用领域特定 LLM 的方法，重点介绍了 LLM 的趋势、基础模型以及领域特定预训练的方法。聚焦于金融领域，详细介绍了数据集选择、预处理、模型选择以及金融领域 LLM 微调的关键考量因素。针对金融数据的独特特征，本研究探讨了领域特定词表的构建以及安全性和合规性考量。在 LLM 微调的实际应用中，本研究概述了在金融领域生成领域特定 LLM 的流程与实现。文中举例说明了各种金融案例，包括股价预测、金融新闻情感分析、自动化文档处理、研究、信息提取和客户服务增强。本研究探讨了 LLM 在金融领域的潜力，指出了其局限性，并提出了改进方向，为未来研究提供了有价值的见解。最终，本研究推动了商业领域的自然语言处理技术，建议各行业的金融服务积极利用 LLM。
引用
@article{arxiv.2401.02981,
title = {Fine-tuning and Utilization Methods of Domain-specific LLMs},
author = {Cheonsu Jeong},
journal= {arXiv preprint arXiv:2401.02981},
year = {2024}
}