两阶段推理感知学习：利用 LLM 生成的推理提升分类性能
计算与语言
2025-07-02 v1 人工智能
摘要
标准的分类模型通常直接将输入映射到标签，而不进行显式的推理，可能限制其性能、鲁棒性和可解释性。本文引入一种新颖的两阶段方法，通过利用大型语言模型（LLM）生成的推理来增强文本分类。在第一阶段，我们在通用推理数据集（syvai/reasoning-gen）上微调 Llama-3.2-1B-Instruct 模型（以下简称 Llama-R-Gen）以生成给定问题及其答案的文本推理（R）。在第二阶段，我们使用这个在一般场景下训练的 Llama-R-Gen 离线方式，创建用于下游生成模型的增强训练数据集。该下游模型基于 Llama-3.2-1B-Instruct，仅接受输入文本（Q），并被训练输出生成的推理（R）后紧跟预测情感（A）。我们在 dair-ai/emotion 数据集上进行情感分类实验。我们的实验表明，训练输出推理与情感（分类器 Q->RA）的生成模型相对于仅训练输出情感（分类器 Q->A）的基线生成模型，情感预测准确率提升了 8.7 个百分点，凸显了推理生成的强大泛化能力以及显式推理训练的益处。本工作彰显了 LLM 生成推理在创建更丰富训练数据集方面的潜力，从而提高了多种下游 NLP 任务的性能，并提供了明确的解释。
引用
@article{arxiv.2507.00214,
title = {Two-Stage Reasoning-Infused Learning: Improving Classification with LLM-Generated Reasoning},
author = {Mads Henrichsen and Rasmus Krebs},
journal= {arXiv preprint arXiv:2507.00214},
year = {2025}
}