具有可变数量极小值的函数的上下文学习
机器学习
2023-11-23 v2 人工智能
计算与语言
摘要
大语言模型（LLMs）已被证明在上下文学习（ICL）方面十分有效，该能力使其能从标注样本中创建预测器。很少有研究探讨 ICL 与其试图逼近的函数特定属性之间的相互作用。在我们的研究中，我们使用形式化框架探索 ICL，并提出一个逼近具有可变数量极小值的函数的新任务。我们实现了一种能够生成以给定输入为极小值的函数的方法。我们发现增加极小值的数量会降低 ICL 性能。同时，我们的评估显示 ICL 优于 2 层神经网络（2NN）模型。此外，在所有设置中 ICL 的学习速度快于 2NN。我们通过一组跨不同超参数配置的少样本实验验证了这些发现。
引用
@article{arxiv.2311.12538,
title = {In-Context Learning Functions with Varying Number of Minima},
author = {David Oniani and Yanshan Wang},
journal= {arXiv preprint arXiv:2311.12538},
year = {2023}
}