LLM的上下文回忆依赖于提示
计算与语言
2024-04-16 v1 机器学习
摘要
大型语言模型（LLM）的普及凸显了进行彻底评估以辨别其比较优势、局限性和最佳用例的极端重要性。特别重要的是评估它们准确检索给定提示中包含的信息的能力。模型做到这一点的能力显著影响其有效利用上下文细节的能力，从而影响其在实际应用中的实用性和可靠性。我们的研究使用“大海捞针”方法分析了各种LLM的上下文回忆性能。在这种方法中，一个事实（“针”）被嵌入到一段填充文本（“大海”）中，模型被要求检索它。我们评估了每个模型在不同“大海”长度和不同“针”位置下的回忆性能，以识别性能模式。这项研究表明，LLM的回忆能力不仅取决于提示的内容，还可能因其训练数据中的偏差而受损。相反，对模型架构、训练策略或微调的调整可以提高性能。我们的分析提供了对LLM行为的洞察，为开发更有效的LLM应用提供了方向。
引用
@article{arxiv.2404.08865,
title = {LLM In-Context Recall is Prompt Dependent},
author = {Daniel Machlab and Rick Battle},
journal= {arXiv preprint arXiv:2404.08865},
year = {2024}
}