大型语言模型中的信息焦虑
计算与语言
2024-11-19 v1
摘要
大型语言模型(LLMs)已显示出作为知识库的强大性能，使模型能够理解用户查询并生成准确且情境感知的响应。广泛的评估设置证实了LLMs检索能力与其预训练语料库中实体频率之间的正相关性。我们进一步通过全面分析LLMs的内部推理和检索机制来进行调查。我们的工作聚焦于三个关键维度——实体流行度的影响、模型对查询表述中词汇变化的敏感性，以及隐藏状态表示在LLM各层中的演进。我们的初步发现表明，流行问题有助于内部状态早期地向正确答案收敛。然而，随着查询流行度的增加，检索属性在词汇变化中的差异性会越来越大且不够准确。有趣的是，我们发现当处理高度流行的主题时，LLMs难以从其参数记忆中消除基于不同关系的事实。通过案例研究，我们探讨了LLMs在处理高度流行查询时的潜在困扰，称为信息焦虑。LLMs出现信息焦虑这一现象凸显了以语言变化形式的对抗性注入，要求对频繁出现的实体进行更全面的评估。
引用
@article{arxiv.2411.10813,
title = {Information Anxiety in Large Language Models},
author = {Prasoon Bajpai and Sarah Masud and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2411.10813},
year = {2024}
}