赋予语言模型工具使用能力以进行金融表格数据分析
计算与语言
2024-01-31 v2
摘要
大型语言模型(LLM)已展现出一系列推理能力,但面临误差传播和幻觉等挑战,尤其是在金融等数据异构且精度至关重要的专业领域。我们探索了通过外部工具增强语言模型的潜力,以缓解这些局限性,并将某些推理步骤卸载给更适合该任务的外部工具,而非仅依赖 LLM 的内在能力。具体而言,利用金融领域问答数据集,我们对 LLaMA-2 13B Chat 模型进行监督微调(SFT),使其同时充当“任务路由器”和“任务求解器”。“任务路由器”动态地将问题引导至由 LLM 内部回答,或通过工具集中的合适工具在外部回答。我们配备工具的 SFT 模型 Raven 分别比基础模型和仅 SFT 基线提升了 35.2% 和 5.06%,并与强大的 GPT-3.5 结果具有高度竞争力。据我们所知,我们的工作是首个针对金融领域研究语言模型工具增强的工作。
引用
@article{arxiv.2401.15328,
title = {Equipping Language Models with Tool Use Capability for Tabular Data Analysis in Finance},
author = {Adrian Theuma and Ehsan Shareghi},
journal= {arXiv preprint arXiv:2401.15328},
year = {2024}
}
备注
Accepted to EACL2024; code, model and dataset are available at https://raven-lm.github.io