WikiTableEdit：一个基于自然语言指令的表格编辑基准
人工智能
2024-03-06 v1
摘要
表格数据作为一种至关重要的数据表示形式，以多种格式存在于网络上。当面对复杂且不规则的表格时，手动修改成为一项繁重的任务。本文研究了大语言模型（LLMs）在表格编辑任务中的性能。现有研究主要集中于规则形状的表格，其中指令用于生成 SQL、Python 或 Excel Office-script 代码以操作表格。然而，使用代码编辑具有不规则结构（特别是包含跨越多行的合并单元格）的表格是一项挑战。为解决这一问题，我们引入了 WikiTableEdit 数据集。利用 WikiSQL 数据集中的 26,531 个表格，我们自动生成了针对六种不同基本操作的自然语言指令及其相应结果，产生了超过 200,000 个实例。随后，我们在 WikiTableEdit 数据集上评估了几个代表性的大语言模型，以展示该任务的挑战性。该数据集将向社区发布，以促进相关研究。
引用
@article{arxiv.2403.02962,
title = {WikiTableEdit: A Benchmark for Table Editing by Natural Language Instruction},
author = {Zheng Li and Xiang Chen and Xiaojun Wan},
journal= {arXiv preprint arXiv:2403.02962},
year = {2024}
}