语言模型是弱学习器

在实际和理论机器学习中，一个核心概念是$\textit{弱学习器}$，即在（任何给定数据分布上）即使以微小优势实现优于随机性能的分类器。此类弱学习器构成了提升等经典机器学习方法的实际基础。在本文中，我们说明基于提示的大型语言模型可有效充当上述弱学习器。具体而言，我们展示了在应用于表格数据的提升算法中，将大型语言模型（LLM）用作弱学习器。我们表明，通过提供（根据感兴趣的分布适当采样）表格数据样本的文本描述，LLM 能够生成样本摘要，作为分类模板，并达成在此任务上充当弱学习器的目标。我们将这些模型纳入提升方法，在某些设定下可利用 LLM 中的知识超越传统的基于树的提升。该模型优于少样本学习，有时甚至优于更复杂的微调过程，尤其是在数据点数量较少的任务中。结果说明了基于提示的 LLM 不仅自身可作为少样本学习器，还可作为更大型机器学习流程组件的潜力。