通过模型增强增强语言模型的金融领域适应
计算与语言
2025-01-22 v1 人工智能
摘要
随着语言模型（包括大型语言模型，LLMs）的使用不断扩大，其领域适应变得越来越重要。本研究展示了通过组合增强语言模型 (CALM) 在适应金融领域的有效性。CALM 是一种通过在具有不同功能的两个 LLM 之间引入交叉注意力来扩展现有模型能力的模型。在我们的实验中，我们开发了一个 CALM，通过利用一个金融专用 LLM 来增强具有强响应能力的 LLM 的金融表现。值得注意的是，该 CALM 使用与训练金融专用 LLM 不同的金融数据集进行训练，证实了 CALM 适应各种数据集的能力。通过定量日本金融基准和定性响应比较对模型进行评估，表明 CALM 能够产生比原始模型和基线得分更高的优异响应。此外，关于连接点的对比实验表明，连接模型的中间层最有利于促进对金融领域的适应。这些发现证实，CALM 是将 LLM 适应到金融领域的一种实用方法。
引用
@article{arxiv.2411.09249,
title = {Enhancing Financial Domain Adaptation of Language Models via Model Augmentation},
author = {Kota Tanabe and Masanori Hirano and Kazuki Matoya and Kentaro Imajo and Hiroki Sakaji and Itsuki Noda},
journal= {arXiv preprint arXiv:2411.09249},
year = {2025}
}