ERATTA：面向大语言模型的极端表格检索-生成
人工智能
2024-11-19 v4 机器学习
摘要
大型语言模型（LLM）采用检索增强生成（RAG）技术在最近的时期已成为可扩展生成式AI解决方案的最佳选择。虽然使用AI代理实现的RAG（agentic-RAG）近期受到推崇，但其在企业级数据实践中存在成本不稳定和性能不可靠的问题。大多数现有用例将RAG与LLM集成，要么通用，要么极其领域特定，从而质疑RAG-LLM方法的可扩展性和通用性。在本工作中，我们提出了一种独特的LLM-based系统，可调用多个LLM以实现数据身份验证、用户查询路由、数据检索和定制化提示，从而实现对企业数据表格的问答能力。该系统处理的源表格规模庞大且波动频繁，所提出的框架能够在每次查询耗时控制在10秒内。此外，我们提出了一个包含五个评估指标的评分模块，用于检测和报告LLM响应中的幻觉现象。我们所提出的系统和评分指标在可持续性、财务健康和社交媒体等多个领域的大量用户查询中实现了超过90%的置信度。对所提出的极端RAG架构的延伸可实现使用LLM进行异构数据源查询。
引用
@article{arxiv.2405.03963,
title = {ERATTA: Extreme RAG for Table To Answers with Large Language Models},
author = {Sohini Roychowdhury and Marko Krema and Anvar Mahammad and Brian Moore and Arijit Mukherjee and Punit Prakashchandra},
journal= {arXiv preprint arXiv:2405.03963},
year = {2024}
}
备注
5 pages, 4 tables, IEEE Big Data, 2024