从文字到数字：你的大语言模型在给定上下文示例时其实是一个有能力的回归器
计算与语言
2024-09-12 v3 人工智能
摘要
我们分析了预训练的大语言模型（例如Llama2、GPT-4、Claude 3等）在给定上下文示例时，无需任何额外训练或梯度更新，能够进行线性和非线性回归的程度。我们的发现揭示，几个大语言模型（例如GPT-4、Claude 3）能够执行回归任务，其性能可与甚至超越传统的监督方法（如随机森林、Bagging或梯度提升）。例如，在具有挑战性的Friedman #2回归数据集上，Claude 3优于许多监督方法，如AdaBoost、SVM、随机森林、KNN或梯度提升。然后，我们研究了大语言模型的性能如何随上下文示例数量的增加而扩展。我们借鉴了在线学习中的遗憾概念，并经验性地表明，LLMs能够获得次线性遗憾。
引用
@article{arxiv.2404.07544,
title = {From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples},
author = {Robert Vacareanu and Vlad-Andrei Negru and Vasile Suciu and Mihai Surdeanu},
journal= {arXiv preprint arXiv:2404.07544},
year = {2024}
}
备注
55 pages, 48 figures COLM camera-ready version; Changes include: (i) added real-world datasets (Appendix I), (ii) fixed typos