学习动力学揭示 LLM 推理中泛化机制
机器学习
2024-11-19 v2
摘要
尽管现代大型语言模型 (LLM) 在各方面展现了惊人的能力，但其问题解决机制仍鲜有了解。本文旨在更好地理解 LLM 微调的学习动力学如何塑造下游泛化。我们的分析聚焦于推理任务，这类任务的结构使我们能够区分记忆（对训练数据中推理步骤的精确复制）与表现（最终解答的正确性）。我们发现模型的泛化行为可通过一种称为准记忆训练准确率的训练指标来有效刻画：该指标衡量模型在开始复制训练集中 exact 推理步骤之前，对训练查询样本的准确率。在数据层面，该指标能够可靠预测测试准确率，在各种模型 (Llama3 8B、Gemma2 9B)、数据集 (GSM8k、MATH) 和训练配置下， 可达到或超过 0.9。在单个样本层面，该指标同样能指示模型预测在训练查询扰动下的鲁棒性。通过将模型的学习行为与其泛化相连接，准记忆训练准确率可指导针对性的训练策略改进。我们以数据策展为例，展示优先选择准记忆训练准确率较低的样本，相较于独立同分布的数据规模扩张，数据效率提升 1.5-2 倍，且优于其他标准数据策展技术。
引用
@article{arxiv.2411.07681,
title = {What Do Learning Dynamics Reveal About Generalization in LLM Reasoning?},
author = {Katie Kang and Amrith Setlur and Dibya Ghosh and Jacob Steinhardt and Claire Tomlin and Sergey Levine and Aviral Kumar},
journal= {arXiv preprint arXiv:2411.07681},
year = {2024}
}