FReM：在长上下文问答中平衡快慢思考的灵活推理机制
计算与语言
2025-04-01 v1
摘要
长上下文问答（LCQA）系统极大地受益于大语言模型（LLM）强大的推理能力，这些能力可分为慢思考和快思考两种模式。然而，这两种模式都有其局限性。慢思考通常倾向于探索每一条可能的推理路径，这会导致严重的过度思考并浪费时间。快思考通常依赖于模式匹配而非真正理解查询逻辑，从而缺乏正确的理解。为了解决这些问题，我们提出了 FReM：灵活推理机制，这是一种根据每个问题的复杂度调整推理深度的方法。具体而言，FReM 利用合成的参考问答示例提供明确的思维链，从而能够高效处理简单查询，同时允许对更复杂的查询进行更深入的推理。通过这样做，FReM 帮助快思考模型超越表面的模式匹配，并缩小慢思考模型的推理空间以避免不必要的探索。在七个问答数据集上的实验表明，FReM 提高了推理准确性和可扩展性，特别是对于复杂的多跳问题，这表明了其推进 LCQA 方法的潜力。
引用
@article{arxiv.2503.22985,
title = {FReM: A Flexible Reasoning Mechanism for Balancing Quick and Slow Thinking in Long-Context Question Answering},
author = {Zhengyi Zhao and Shubo Zhang and Zezhong Wang and Bin Liang and Binyang Li and Kam-Fai Wong},
journal= {arXiv preprint arXiv:2503.22985},
year = {2025}
}