量化 LLM 中类推效应与记忆效应
机器学习
2024-05-21 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
本研究提出了一个公理化系统，用于定义和量化大语言模型（LLM）用于语言生成的精确记忆效应和类推效应。这些效应被形式化为由 LLM 编码的记号/单词之间的非线性相互作用。具体而言，公理化系统使我们能够将记忆效应分为基础记忆效应和混乱记忆效应，并进一步将类推效应分为增强类推模式、消除类推模式和反转类推模式。此外，分解后的效应满足稀疏性质和通用匹配性质，这在数学上保证了 LLM 的置信度得分可以可靠地分解为记忆效应和类推效应。实验表明，记忆效应与类推效应的明确解耦使得对 LLM 编码的详细类推模式进行检查变得直接而简单。
引用
@article{arxiv.2405.11880,
title = {Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs},
author = {Siyu Lou and Yuntian Chen and Xiaodan Liang and Liang Lin and Quanshi Zhang},
journal= {arXiv preprint arXiv:2405.11880},
year = {2024}
}