基于 LLM 的多文档金融问答
信息检索
2024-11-13 v1 计算与语言
摘要
我们提出了两种用于多文档金融问答的新方法。第一种方法使用语义标注，然后查询索引以获取上下文（RAG_SEM）。第二种是基于知识图谱的方法（KG_RAG），它使用语义标注，并从图数据库检索知识图谱三元组作为上下文。KG_RAG 使用的知识图谱由一个小模型构建，该模型通过大模型教师进行知识蒸馏微调而得。数据包含 Apple、Microsoft、Alphabet、NVIDIA、Amazon 和 Tesla 在 2021、2022 和 2023 年的 18 份 10K 报告。问题列表包含 116 个复杂问题，其中包括许多难以回答且答案不完全显而易见的晦涩问题。作为评价指标，我们使用总体得分以及用于测量的分段得分，包括忠实度、相关性、正确性、相似度、基于 LLM 的总体得分、ROUGE 得分以及嵌入相似度。我们发现，这两种方法均显著优于普通 RAG。KG_RAG 在九个指标中的四个上优于 RAG_SEM。
引用
@article{arxiv.2411.07264,
title = {Multi-Document Financial Question Answering using LLMs},
author = {Shalin Shah and Srikanth Ryali and Ramasubbu Venkatesh},
journal= {arXiv preprint arXiv:2411.07264},
year = {2024}
}