超越孤立能力：连接长程思维链推理与长文本理解
计算与语言
2025-07-22 v1
摘要
推理蒸馏已涌现出增强小型语言模型思维能力的有效方法。然而，大规模推理蒸馏对其他关键能力——尤其是情境理解和推理——的影响仍未探索。鉴于检索增强生成（RAG）系统中高效获取和利用上下文信息对于生成可靠响应至关重要，人们亟需理解扩展的长程CoT过程如何影响长文本理解。我们动员深入调查，使用来自Deepseek-R1（因其卓越的思维能力）的多个开源模型进行蒸馏。我们的研究聚焦于评估这些模型在通过多文档问答任务从扩展上下文中提取和整合相关信息方面的性能。通过严格的实验，我们展示了蒸馏后的推理模式显著改进了长文本理解。我们的分析揭示，蒸馏通过促进更详细、更明确的推理过程来增强上下文分析和信息解析中的长文本意识，从而有效缓解了长文本模型一直困扰的“在中间丢失”问题。
引用
@article{arxiv.2507.14849,
title = {Beyond Isolated Capabilities: Bridging Long CoT Reasoning and Long-Context Understanding},
author = {Yifei Wang},
journal= {arXiv preprint arXiv:2507.14849},
year = {2025}
}