SketchFill：基于草图引导的推导型缺失值代码生成方法
计算与语言
2024-12-30 v1 数据库
机器学习
摘要
缺失值是数据科学中的一个关键问题，显著影响分析和预测的可靠性。缺失值插值（MVI）是一个长期存在的问题，因为它高度依赖于领域知识。大型语言模型（LLM）作为数据清洗的有前景的工具，包括表格数据的 MVI，提供了理解和生成内容的高级能力。然而，尽管具有前景，现有的LLM技术，如情境学习和链式思维（Chain-of-Thought, CoT）往往在为MVI进行复杂推理方面不够，特别是在对推导型缺失值进行插值时，这些值需要数学公式和跨行和跨列的数据关系。这一差距凸显了需要进一步发展LLM方法以增强其推理能力，以实现更可靠插值结果的需求。为填补这一差距，我们提出了SketchFill，一种新颖的基于草图的方法，用于指导LLM生成准确的公式来插值缺失的数值。我们的实验结果表明，SketchFill 在基于CoT的方法和MetaGPT之上的准确率分别提高了56.2%和78.8%，为自动化数据清洗设立了新标准，推动了针对数值值的 MVI 领域的发展。
引用
@article{arxiv.2412.19113,
title = {SketchFill: Sketch-Guided Code Generation for Imputing Derived Missing Values},
author = {Yunfan Zhang and Changlun Li and Yuyu Luo and Nan Tang},
journal= {arXiv preprint arXiv:2412.19113},
year = {2024}
}
备注
19 pages, 6 figures