选择性自重述：提高大语言模型泛化能力的微调方法

在特定数据集上对大语言模型（LLM）进行微调是提高目标任务性能的常见做法。然而，这种性能提升常常会导致过拟合，模型对任务或训练数据的特征过于专化，导致泛化能力下降。本文介绍了选择性自重述（Selective Self-Rehearsal, SSR），这是一种微调方法，在保持与标准监督微调（SFT）相当性能的同时，提高了泛化能力。SSR 利用存在多个有效响应的事实，通过利用模型的正确响应来减少微调过程中的模型专化。SSR 首先通过部署合适的 LLM 作为评判器，从训练集中识别出正确的模型响应，然后使用正确的模型响应和金标准响应对剩余样本进行微调。通过在各种数据集上进行不可回答查询识别任务的实验，证明了 SSR 的有效性。结果表明，标准 SFT 在多个基准测试（如 MMLU 和 TruthfulQA）上可能导致最高达 $16.7\%$ 的性能下降，而相比之下，SSR 在平均情况下仅导致约 $2\%$ 的下降，表明其在泛化能力方面优于标准 SFT。