Transformer 能否在上下文中学习序列函数类?
机器学习
2023-12-22 v2 人工智能
计算与语言
摘要
上下文学习(ICL)彻底改变了Transformer模型在自然语言处理(NLP)中的能力。在我们的项目中,我们通过探索Transformer是否能够从序列化、非文本的函数类数据分布中学习,扩展了对支撑ICL机制的理解。我们引入了一种新颖的滑动窗口序列函数类,并采用具有GPT-2架构的玩具规模Transformer来进行实验。我们的分析表明,当在非文本序列函数类上训练时,这些模型确实能够利用ICL。此外,我们对随机化y标签序列的实验表明,即使标签关联被混淆,Transformer仍保留了部分ICL能力。我们提供了证据表明Transformer能够推理并理解函数类中编码的序列性,这在我们所提出任务的有效学习中得到了体现。我们的结果还表明,随着标签随机性的增加,性能会下降,但并未达到人们预期的程度,这意味着学习到的序列性对标签噪声具有潜在的鲁棒性。未来的研究可以探讨先前对Transformer的解释(如归纳头和任务向量)如何与这些玩具示例中ICL的序列性相关联。我们的研究为进一步研究Transformer如何处理和感知序列数据奠定了基础。
引用
@article{arxiv.2312.12655,
title = {Can Transformers Learn Sequential Function Classes In Context?},
author = {Ryan Campbell and Emma Guo and Evan Hu and Reya Vir and Ethan Hsiao},
journal= {arXiv preprint arXiv:2312.12655},
year = {2023}
}
备注
8 pages, 8 figures