QUIS：面向自动化探索性数据分析的问题导向洞察生成
人工智能
2024-10-22 v3 计算与语言
数据库
机器学习
摘要
从大数据集中发现有意义的洞察，称为探索性数据分析(EDA)，是一项具有挑战性的任务，需要对数据进行彻底的探索和分析。自动化数据探索(ADE)系统使用以大型语言模型和强化学习为目标的方法实现完全自动化。然而，这些方法需要人类参与以预见目标，这可能限制洞察的提取；而完全自动化的系统则需要大量计算资源和针对新数据集的重新训练。我们引入QUIS，一个完全自动化的EDA系统，其 operate in two stages: insight generation (ISGen) driven by question generation (QUGen)。QUGen模块以迭代方式生成问题， refining them from previous iterations to enhance coverage without human intervention or manually curated examples. The ISGen module analyzes data to produce multiple relevant insights in response to each question, requiring no prior training and enabling QUIS to adapt to new datasets.
引用
@article{arxiv.2410.10270,
title = {QUIS: Question-guided Insights Generation for Automated Exploratory Data Analysis},
author = {Abhijit Manatkar and Ashlesha Akella and Parthivi Gupta and Krishnasuri Narayanam},
journal= {arXiv preprint arXiv:2410.10270},
year = {2024}
}
备注
Accepted for EMNLP 2024 Industry Track