InstructExcel：面向 Excel 中自然语言指令的基准
计算与语言
2023-10-24 v1 人工智能
摘要
随着大语言模型（LLMs）的发展，我们可以跨各个领域（包括电子表格）解决日益复杂的 NLP 任务。本工作研究 LLMs 是否能够生成代码（Excel OfficeScripts，一种用于在 Excel 中执行许多任务的 TypeScript API），以解决通过自然语言用户指令提供的 Excel 特定任务。为此，我们引入了一个新的大规模基准 InstructExcel，它利用 Excel 中的“Automate”功能根据用户操作自动生成 OfficeScripts。我们的基准包含超过 10k 个样本，覆盖 2,000 个公开可用 Excel 电子表格中的 170+ 种 Excel 操作。在各种零样本和少样本设置下的实验表明，InstructExcel 对于 GPT-4 等最先进模型来说是一个困难的基准。我们观察到：（1）使用 GPT-4 优于 GPT-3.5，（2）提供更多上下文示例，以及（3）动态提示有助于提升在该基准上的性能。
引用
@article{arxiv.2310.14495,
title = {InstructExcel: A Benchmark for Natural Language Instruction in Excel},
author = {Justin Payan and Swaroop Mishra and Mukul Singh and Carina Negreanu and Christian Poelitz and Chitta Baral and Subhro Roy and Rasika Chakravarthy and Benjamin Van Durme and Elnaz Nouri},
journal= {arXiv preprint arXiv:2310.14495},
year = {2023}
}
备注
Findings of EMNLP 2023, 18 pages