STEPPER：面向多步骤检索增强语言模型的分步知识蒸馏以提升推理能力
计算与语言
2025-10-10 v1 人工智能
摘要
回答复杂现实问题需要逐步检索和整合相关信息以生成准确的响应。然而，现有的知识蒸馏方法忽视了在不同步骤上具有不同推理能力的需求，这阻碍了在多步骤检索增强框架中的迁移。为此，我们提出一种用于增强多步骤检索增强语言模型推理能力的分步知识蒸馏方法，即 Stepwise Knowledge Distillation for Enhancing Reasoning Ability in Multi-Step Retrieval-Augmented Language Models（StepER）。StepER 采用分步骤监督以适应各阶段的信息和推理需求的演变。此外，它融入难度感知训练，通过优先选择合适的步骤来逐步优化学习。该方法可适用于各种多步骤检索增强语言模型，包括使用检索查询进行推理路径或分解问题的模型。大量实验表明，StepER 在多跳问答基准上超越了先前方法，70B 大模型的 8B 小模型便可实现与教师模型相当的性能。
引用
@article{arxiv.2510.07923,
title = {STEPER: Step-wise Knowledge Distillation for Enhancing Reasoning Ability in Multi-Step Retrieval-Augmented Language Models},
author = {Kyumin Lee and Minjin Jeon and Sanghwan Jang and Hwanjo Yu},
journal= {arXiv preprint arXiv:2510.07923},
year = {2025}
}
备注
EMNLP 2025 Main