检索再思考：从传统检索增强生成到金融领域的智能体化与非向量推理系统
计算与语言
2025-11-25 v1
摘要
最近的检索增强生成（RAG）技术进展使大型语言模型能够使用美国 SEC 公开文件、财报和监管文件等外部知识库回答金融问题。然而，现有工作缺乏对向量化 RAG 架构与非向量化 RAG 架构在金融文件上的系统性比较，以及先进 RAG 技术对检索准确性、答案质量、延迟和成本的实际影响仍不清晰。我们提出了首个系统性评估，将基于混合检索和元数据过滤的向量化智能体 RAG 与不使用嵌入、遍历文档结构的层次化节点系统进行比较。我们对两种应用于向量化架构的增强技术进行评估：i) 交叉编码器重排序以提高检索精度，ii) 小到大块检索以提高上下文完整性。在针对 1,200 份 SEC 10-K、10-Q 和 8-K 公开文件构建的 150 题基准测试中，我们衡量检索指标（MRR、Recall@5）、答案质量（通过 LLM 评估的成对比较）、延迟和预处理成本。结果表明，向量化智能体 RAG 在延迟（5.2 与 5.98 秒相当）方面获胜率达 68%。交叉编码器重排序在最佳参数（10, 5）下将 MRR@5 提升 59%。小到大检索相对于基线分块获胜率达 65%，仅增加 0.2 秒延迟。我们的发现表明，将先进 RAG 技术应用于金融问答系统可提升检索准确性和答案质量，并在成本效益之间存在权衡。
引用
@article{arxiv.2511.18177,
title = {Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models},
author = {Elias Lumer and Matt Melich and Olivia Zino and Elena Kim and Sara Dieter and Pradeep Honaganahalli Basavaraju and Vamse Kumar Subbiah and James A. Burke and Roberto Hernandez},
journal= {arXiv preprint arXiv:2511.18177},
year = {2025}
}
备注
8 pages, 2 figures