TableLlama：迈向面向表格的开源大型通才模型

半结构化表格无处不在。已有多种任务旨在自动解释、增强和查询表格。当前方法通常需要对表格进行预训练或特殊的模型架构设计，受限于特定表格类型，或对表格和任务有简化假设。本文朝着开发开源大语言模型(LLMs)作为多样化基于表格任务的通才迈出第一步。为此，我们构建了TableInstruct，一个包含各种真实表格与任务的新数据集，用于指令微调与评估LLMs。我们进一步通过用LongLoRA微调Llama 2 (7B)以解决长上下文挑战，开发了首个开源的表格通才模型TableLlama。我们在域内设置和域外设置下进行了实验。在8个域内任务中的7个上，TableLlama取得了与每项任务的SOTA相当或更好的性能，尽管后者常有任务特定设计。在6个域外数据集上，相较于基础模型取得了5-44个绝对点的提升，表明在TableInstruct上训练增强了模型的泛化能力。我们开源了数据集与训练模型以推动未来关于开发表格开源通才模型的工作。