FinQAPT：面向金融决策的端到端LLM驱动问答管道
信息检索
2024-11-04 v2 人工智能
计算与语言
机器学习
摘要
金融决策依赖于从海量金融文件中分析相关信息。为此，我们开发了FinQAPT，一个端到端管道，旨在简化基于查询的金融报告识别、提取相关上下文，并利用大型语言模型（LLM）执行下游任务。为评估该管道，我们实验了 various techniques 以优化每个模块的性能。我们引入了一种基于聚类的负采样技术以增强上下文提取，并提出了一种名为Dynamic N-shot Prompting的新颖提示方法以提升LLM的数值问答能力。在模块层面，我们在FinQA数据集上实现了准确率最高的80.6%。然而，在管道层面，我们观察到由于从金融报告中提取相关上下文存在挑战，导致性能下降。我们对每个模块和整个管道进行了详细的错误分析，指出了必须解决的具体挑战，以开发出处理复杂金融任务的稳健解决方案。
引用
@article{arxiv.2410.13959,
title = {FinQAPT: Empowering Financial Decisions with End-to-End LLM-driven Question Answering Pipeline},
author = {Kuldeep Singh and Simerjot Kaur and Charese Smiley},
journal= {arXiv preprint arXiv:2410.13959},
year = {2024}
}
备注
Accepted in ICAIF 2024, 8 pages, 5 figures, 4 tables