DeepCritic：基于大语言模型的深思熟虑批判
计算与语言
2025-05-02 v1 人工智能
机器学习
摘要
随着大语言模型(LLM)的快速发展，对其输出提供准确反馈和可扩展监督成为一个紧迫且关键的问题。利用 LLM 作为批判模型以实现自动化监督是一种极具前景的解决方案。在本工作中，我们重点研究并增强 LLM 的数学批判能力。当前的 LLM 批判者对每个步骤提供的批判过于浅显和表面化，导致判断准确率低，且难以向 LLM 生成器提供充足的反馈以纠正错误。为解决此问题，我们提出了一种新颖且有效的两阶段框架，以开发能够对数学解答的每个推理步骤进行深思熟虑批判的 LLM 批判者。在第一阶段，我们利用 Qwen2.5-72B-Instruct 生成 4.5K 长篇批判作为监督微调的种子数据。每篇种子批判包含深思熟虑的逐步批判，其中包括多视角验证以及对每个推理步骤初始批判的深入批判。然后，我们使用 PRM800K 中现有的人工标注数据或通过基于蒙特卡洛采样的正确性估计自动标注的数据，对微调后的模型进行强化学习，以进一步激发其批判能力。我们基于 Qwen2.5-7B-Instruct 开发的批判模型不仅在各种错误识别基准上显著优于现有的 LLM 批判者（包括同等规模的 DeepSeek-R1-distill 模型和 GPT-4o），而且能通过更详细的反馈更有效地帮助 LLM 生成器修正错误步骤。
引用
@article{arxiv.2505.00662,
title = {DeepCritic: Deliberate Critique with Large Language Models},
author = {Wenkai Yang and Jingwen Chen and Yankai Lin and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2505.00662},
year = {2025}
}
备注
Work in progress. Data and models are available at https://github.com/RUCBM/DeepCritic