基于朴素贝叶斯的上下文扩展用于大语言模型
计算与语言
2024-03-27 v1
摘要
大语言模型（LLMs）在零样本学习中展现出良好的能力。然而，常规的零样本学习（ICL）方法常受制于Transformer架构的长度限制，这给在有效整合大量示范示例的监督信息方面带来了挑战。本文引入了一种新框架，称为朴素贝叶斯基于上下文扩展（Naive Bayes-based Context Extension, NBCE），以启用现有LLMs进行以更多示范示例进行的ICL，通过显著扩大其上下文大小。重要的是，这种扩展无需微调，也不依赖特定的模型架构，同时保持线性效率。NBCE首先将上下文分割为等于大小的窗口，适配目标LLM的最大长度。随后，引入投票机制选择最相关的窗口，作为后验上下文。最后，它运用贝叶斯定理生成测试任务。我们的实验结果表明，NBCE在示范示例数量增加时性能显著提升，始终优于其他方法。NBCE的代码将公开获取。NBCE代码可访问于：https://github.com/amurtadha/NBCE-master
引用
@article{arxiv.2403.17552,
title = {Naive Bayes-based Context Extension for Large Language Models},
author = {Jianlin Su and Murtadha Ahmed and Wenbo and Luo Ao and Mingren Zhu and Yunfeng Liu},
journal= {arXiv preprint arXiv:2403.17552},
year = {2024}
}
备注
Accepted to main NAACL 2024