TableDreamer：面向表格指令调优的渐进式弱点引导数据合成框架

尽管近期基于大语言模型（LLM）的数据合成方法取得了可喜的进展，但在生成表格指令调优数据时仍面临两个局限：其一，无法充分探索表格理解任务的广阔输入空间，导致数据多样性有限；其二，忽视了目标大语言模型在表格理解能力上的弱点，盲目追求数据数量增加，导致数据效率不佳。本文提出了面向表格指令调优的渐进式弱点引导数据合成框架，命名为TableDreamer，以缓解上述问题。具体而言，我们首先合成多样化的表格及其相关指令作为种子数据，然后在弱点数据的引导下进行迭代式输入空间探索，最终这些数据 serve 为微调目标大语言模型的训练数据。对10个表格基准进行大量实验表明，所提框架有效，使Llama3.1-8B-instruct的平均准确率提升11.62%（从49.07%提升至60.69%），并使用27K GPT-4o合成数据，超过了使用更多训练数据的领先数据合成基线方法。代码和数据可在 https://github.com/SpursGoZmy/TableDreamer 查看。