Table-GPT：面向多样表格任务的表格微调GPT
计算与语言
2023-10-16 v1 人工智能
数据库
摘要
诸如GPT-3.5和ChatGPT之类的语言模型，展现出遵循多样化人类指令并执行广泛任务的显著能力。然而，当我们使用一系列基础表格理解任务探查语言模型时，观察到当今的语言模型在许多表格相关任务上仍非最优，这很可能是因为它们主要在\emph{一维}自然语言文本上预训练，而关系表是\emph{二维}对象。在本工作中，我们提出一种新的“\emph{表格微调}”范式，即使用由真实表格合成的多样表格任务作为训练数据，继续训练/微调如GPT-3.5和ChatGPT之类的语言模型，以增强语言模型理解表格和执行表格任务的能力。我们展示所得的Table-GPT模型表现出（1）更好的\emph{表格理解}能力，在广泛表格任务（包括留出的未见任务）上持续优于原始GPT-3.5和ChatGPT；以及（2）强\emph{泛化性}，能够以类似于GPT-3.5和ChatGPT的方式响应多样人类指令来执行新表格任务。
引用
@article{arxiv.2310.09263,
title = {Table-GPT: Table-tuned GPT for Diverse Table Tasks},
author = {Peng Li and Yeye He and Dror Yashar and Weiwei Cui and Song Ge and Haidong Zhang and Danielle Rifinski Fainman and Dongmei Zhang and Surajit Chaudhuri},
journal= {arXiv preprint arXiv:2310.09263},
year = {2023}
}