DataFrame QA：一种无需数据暴露的通用 DataFrame 问答大语言模型框架
计算与语言
2024-01-30 v1 人工智能
摘要
本文介绍了 DataFrame 问答（QA），这是一项利用大语言模型（LLMs）生成 Pandas 查询以在数据框上进行信息检索和数据分析的新任务，强调安全且不泄露的数据处理。我们的方法仅依赖数据框列名，不仅确保了数据隐私，还显著减少了提示中的上下文窗口，简化了信息处理并解决了基于 LLM 的数据分析中的主要挑战。我们提出 DataFrame QA 作为一个综合框架，包括安全的 Pandas 查询生成和代码执行。我们在著名的 WikiSQL 和我们新开发的专为复杂数据分析查询定制的'UCI-DataFrameQA'上，使用 pass@1 指标评估了各种 LLMs，特别是 GPT-4。我们的发现表明，GPT-4 在 WikiSQL 上的 pass@1 率达到 86%，在 UCI-DataFrameQA 上达到 97%，突显了其在安全检索和聚合数据框值以及进行复杂数据分析方面的能力。这种方法无需预先训练或调整即可以零样本方式部署，证明了对多样化应用具有高度适应性和安全性。
引用
@article{arxiv.2401.15463,
title = {DataFrame QA: A Universal LLM Framework on DataFrame Question Answering Without Data Exposure},
author = {Junyi Ye and Mengnan Du and Guiling Wang},
journal= {arXiv preprint arXiv:2401.15463},
year = {2024}
}