训练与评估 Jupyter Notebook 数据科学助手
机器学习
2022-02-01 v1 软件工程
摘要
我们研究由一个序列到序列 transformer 驱动的数据科学助手的可行性，通过在所有公开可用的 Jupyter Notebook GitHub 仓库上训练新模型 JuPyT5 并开发新指标：数据科学问题(DSP)。DSP 是从 306 个教学用 notebook 中精选出的 1119 个问题集合，具有 92 个数据集依赖、自然语言与 Markdown 问题描述以及基于 assert 的单元测试。这些 notebook 旨在测试大学生对数学与数据科学各种 Python 实现的掌握程度，我们现在利用它们来研究 JuPyT5 理解并通过测试的能力。我们分析 DSP 的内容、验证其质量，并发现给定 100 次采样尝试，JuPyT5 能够解决 77.5\% 的 DSP 问题。我们进一步给出各种消融与统计分析，并将 DSP 与其他近期的自然语言到代码基准进行比较。
引用
@article{arxiv.2201.12901,
title = {Training and Evaluating a Jupyter Notebook Data Science Assistant},
author = {Shubham Chandel and Colin B. Clement and Guillermo Serrato and Neel Sundaresan},
journal= {arXiv preprint arXiv:2201.12901},
year = {2022}
}