表示至关重要：基于动态模式分解的大语言模型嵌入模态分析
计算与语言
2023-09-06 v1 人工智能
摘要
现有的大语言模型（LLM）以生成“幻觉”内容而著称，即看似合理却无根据的虚构文本。为识别这些幻觉场景何时发生，我们在嵌入空间中考察生成文本的性质。具体而言，我们从动态模式分解（DMD）工具获得启发，分析跨句子的文本嵌入的模式演化。我们实证表明，与真实文本不同，生成文本在段落上的句子嵌入谱始终为低秩。重要的是，我们发现具有LLM幻觉的评测案例对应于真实嵌入模式中具有较多模态、而这些模态难以被LLM嵌入模式相关的少数模态所近似的情况。类比于近场电磁倏逝波，具有幻觉的生成文本的嵌入DMD特征模态跨句子迅速衰减，而真实文本则不然。这表明幻觉源于生成技术与底层表示两方面。
引用
@article{arxiv.2309.01245,
title = {Representations Matter: Embedding Modes of Large Language Models using Dynamic Mode Decomposition},
author = {Mohamed Akrout},
journal= {arXiv preprint arXiv:2309.01245},
year = {2023}
}