LLM 是自然语言推理中的频率模式学习器
计算与语言
2025-05-28 v1
摘要
尽管在 NLI 语料库上微调 LLM 能够提升其推理性能，但驱动这一提升的内在机制在很大程度上仍不透明。在本工作中，我们进行了一系列实验以探究 LLM 在微调过程中究竟学到了什么。我们首先分析了 NLI 数据集中前提和假设的谓词频率，并识别出一种一致的频率偏差，即在正例中，假设中的谓词比前提中的谓词出现得更频繁。为了评估这种偏差的影响，我们在与偏差一致和对抗偏差的样本上评估了标准和经过 NLI 微调的 LLM。我们发现 LLM 利用频率偏差进行推理，并在对抗样本上表现不佳。此外，微调后的 LLM 对这种偏差的依赖性显著增加，表明它们正在从数据集中学习这些频率模式。最后，我们从 WordNet 中计算了下义词及其对应的上义词的频率，揭示了频率偏差与文本蕴含之间的相关性。这些发现有助于解释为什么学习频率模式可以提升模型在推理任务上的性能。
引用
@article{arxiv.2505.21011,
title = {LLMs are Frequency Pattern Learners in Natural Language Inference},
author = {Liang Cheng and Zhaowei Wang and Mark Steedman},
journal= {arXiv preprint arXiv:2505.21011},
year = {2025}
}
备注
9 pages