探究链步理由对自然语言理解的影响
计算与语言
2025-10-21 v1
摘要
链步理由（CoT）提供逐步推理以导出最终答案，能在推理和训练中提升大型语言模型（LLMs）的性能。通过在推理时生成理由，或在训练时将其置于原始答案前后来整合理由，可显著提高模型在数学、符号和常识推理任务上的表现。然而，大多数工作聚焦于这些推理任务中理由的作用，忽略了其对其他重要任务（如自然语言理解，NLU）的潜在影响。在本工作中，我们提出问题：理由是否同样能从众惠利 NLU 任务？为开展系统性探索，我们构建了 NLURC—a 综合且高质量的 NLU 数据集集合，包含理由，并开发了各种理由增强方法。通过在该数据集上探索这些方法在 NLU 任务中的适用性，我们发现了几个可能令人惊讶的结果：（1）CoT 推理从阻碍 NLU 表现转变为超越直接标签预测，这表明存在正相关。（2）大多数理由增强训练方法在标签唯一训练中表现更差，只有一种特殊设计的方法持续实现改进。（3）使用理由训练的 LLMs 在未见的 NLU 任务上实现显著性能提升，媲美体型是其十倍的模型，同时以与商业 LLMs 相当的可解释性。
引用
@article{arxiv.2510.16686,
title = {Investigating the Impact of Rationales for LLMs on Natural Language Understanding},
author = {Wenhang Shi and Shuqing Bian and Yiren Chen and Xinyi Zhang and Zhe Zhao and Pengfei Hu and Wei Lu and Xiaoyong Du},
journal= {arXiv preprint arXiv:2510.16686},
year = {2025}
}