Transformer 中注意力与似然的关系
计算与语言
2023-03-16 v1 机器学习
摘要
我们分析了大型语言模型（LLM）如何表征脱离上下文的词语，探究其对给定上下文捕捉语义的依赖程度。我们的似然引导文本扰动揭示了基于 transformer 的语言模型中词元似然与注意力值之间的相关性。大量实验表明，意外词元导致模型在计算其表征时较少关注来自自身的信息，尤其在高层中。这些发现对评估 LLM 在真实场景中的鲁棒性具有重要启示。完全可复现代码库见 https://github.com/Flegyas/AttentionLikelihood。
引用
@article{arxiv.2303.08288,
title = {Attention-likelihood relationship in transformers},
author = {Valeria Ruscio and Valentino Maiorca and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2303.08288},
year = {2023}
}