交互式数据科学笔记本中的自然语言到代码生成
计算与语言
2022-12-20 v1 软件工程
摘要
诸如 Jupyter 笔记本等计算笔记本是数据科学家进行数据整理与分析任务时普遍使用的交互式计算环境。为了衡量 AI 结对程序员根据用户给出的自然语言（NL）意图自动为这些任务合成程序的性能，我们构建了 ARCADE，这是一个包含 1082 个代码生成问题的基准测试，这些问题均在数据科学笔记本中使用 pandas 数据分析框架。ARCADE 的特点是包含来自同一笔记本的多轮 NL 到代码的问题。它要求模型理解丰富的多模态上下文，例如现有的笔记本单元格及其执行状态，以及之前的交互轮次。为了在这一具有挑战性的任务上建立强大的基线，我们开发了 PaChiNCo，一个用于 Python 计算笔记本的 62B 代码语言模型（LM），该模型显著优于公开的代码 LM。最后，我们探索了少样本提示策略，通过逐步分解和 NL 解释来引导生成更好的代码，展示了改善模型预测的多样性和可解释性的潜力。
引用
@article{arxiv.2212.09248,
title = {Natural Language to Code Generation in Interactive Data Science Notebooks},
author = {Pengcheng Yin and Wen-Ding Li and Kefan Xiao and Abhishek Rao and Yeming Wen and Kensen Shi and Joshua Howland and Paige Bailey and Michele Catasta and Henryk Michalewski and Alex Polozov and Charles Sutton},
journal= {arXiv preprint arXiv:2212.09248},
year = {2022}
}
备注
46 pages. 32 figures