经验影响函数：理解微调逻辑
机器学习
2024-06-04 v1 人工智能
摘要
理解神经网络的学习过程对于提升其性能和解释其行为至关重要。这可以通过探究当我们对一个新的训练样本进行微调时，模型输出如何受到影响来近似理解。对于这种影响，存在一些期望特性，例如随语义距离增加而影响递减、稀疏性、噪声不变性、传递因果性和逻辑一致性。本文利用通过微调测量的经验影响来展示单个训练样本如何影响输出。我们表明，对于简单的卷积网络和现代LLM，这些期望特性均被违反。我们还说明了提示如何能够部分挽救这种失败。我们的论文提出了一种高效且实用的方法，用于量化神经网络从微调刺激中学习的效果。我们的结果表明，流行的模型无法像它们表现出的那样进行泛化或执行逻辑推理。
引用
@article{arxiv.2406.00509,
title = {Empirical influence functions to understand the logic of fine-tuning},
author = {Jordan K. Matelsky and Lyle Ungar and Konrad P. Kording},
journal= {arXiv preprint arXiv:2406.00509},
year = {2024}
}