小模型是大语言模型在医学表格预测中的知识触发器

大语言模型的最新发展在非结构化文本或多模态任务上展现了令人印象深刻的领域能力。然而，尽管具有内在的世界知识，它们在结构化表格数据预测上的应用仍然滞后，这主要是由于数值不敏感性和模态差异导致大语言模型推理与统计表格学习之间存在差距。与文本或视觉数据（例如电子临床记录或医学影像数据）不同，表格数据通常以异质数值形式呈现（例如全血细胞计数报告）。这种普遍存在的数据格式需要密集的专家标注，而其数值性质限制了大语言模型有效转移未开发的领域专业知识的能力。在本文中，我们提出了SERSAL，一种通过与小模型协同学习的通用自提示方法，以无监督方式增强大语言模型的表格预测。具体来说，SERSAL利用大语言模型的先验结果作为原始软噪声标注，动态地用于训练一个更好的小模型。反过来，训练好的小模型的结果被用于教导大语言模型进一步精炼其真实能力。这个过程可以重复应用，以逐步蒸馏精炼的知识，实现持续进步。在广泛使用的医学领域表格数据集上的全面实验表明，在无法获取真实标签的情况下，将SERSAL应用于OpenAI GPT推理过程相比语言提示方法取得了显著改进，这为表格大语言模型提供了一个正交方向，并且随着更强大的大语言模型出现，观察到提示增益不断增加。