上下文学习对数学推理有效的原因：理论分析
计算与语言
2024-12-18 v1 人工智能
摘要
得益于上下文学习能力，大语言模型在各类数学推理基准测试中展现出优异的性能。然而，我们发现少样本示例有时会导致性能下降，且其对 LLM 推理能力的有效性仍不稳定。为此，本文旨在从理论上分析上下文示例对 LLM 推理性能的影响。我们证明，推理有效性（以经验预测损失衡量）可由面向 LLM 的语义相似性和示例的推理稳定性所界定，该结论适用于单样本和少样本场景。基于这一发现，我们提出了一种简单、可泛化且低复杂度的示例选择方法，命名为 LMS3。该方法能够自适应地为不同的 LLM 选择最相关的样本，并包含一种新颖的示例拒绝机制，可自动过滤不适合少样本学习的样本。通过在三个代表性基准、两个 LLM 主干网络和多种少样本设置上的实验，我们验证了 LMS3 的优越性，并在所有数据集上取得了一致的提升，这是现有方法未能实现的。
引用
@article{arxiv.2412.12157,
title = {What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis},
author = {Jiayu Liu and Zhenya Huang and Chaokun Wang and Xunpeng Huang and Chengxiang Zhai and Enhong Chen},
journal= {arXiv preprint arXiv:2412.12157},
year = {2024}
}