SMARTFinRAG：交互式模块化金融 RAG 基准
计算工程、金融与科学
2025-04-28 v1 计算与语言
信息检索
摘要
金融行业正在快速采用语言模型技术，但评估该领域的专业 RAG 系统仍存在挑战。本文引入 SMARTFinRAG，旨在解决金融 RAG 评估中的三个关键问题：(1) 完全模块化的架构支持运行时组件的动态交互; (2) 文档中心的评估范式，从新摄入的金融文件生成领域特定 QA 对; (3) 搭建研究与实现之间的直观界面。我们的评估量化了检索效能与响应质量，揭示了不同配置之间的显著性能差异。该平台的开源架构支持透明、可复现的研究，同时解决了金融机构在实际部署 RAG 系统时面临的实际挑战。
引用
@article{arxiv.2504.18024,
title = {SMARTFinRAG: Interactive Modularized Financial RAG Benchmark},
author = {Yiwei Zha},
journal= {arXiv preprint arXiv:2504.18024},
year = {2025}
}
备注
For open source github repo, see https://github.com/JonathanZha47/SMARTFinRAG