审阅审阅者：通过 LLM 引导的反馈提升同行评审质量
计算与语言
2026-02-12 v1 计算机与社会
摘要
同行评审是科学质量的核心，但依赖简单启发式方法——懈怠思维——已降低了标准。以往的研究将懈怠思维检测视为单标签任务，但评审片段可能表现出多种问题，包括更广泛的清晰度问题或特定性问题。将检测转化为可操作的改进需要具备指导原则的反馈，而当前尚未实现。我们引入了一个由 LLM 驱动的框架，将评审分解为论证性片段，通过神经符号模块（结合 LLM 特征与传统分类器）识别问题，并生成针对性反馈。这些反馈基于问题特定模板，通过遗传算法进行优化。实验表明，我们的方法在零样本 LLM 框架基准上显著优于，提升了评审质量最高可达 92.4%。我们还发布了 LazyReviewPlus 数据集，包含 1,309 句标记的懒惰思维与特定性问题。
引用
@article{arxiv.2602.10118,
title = {Reviewing the Reviewer: Elevating Peer Review Quality through LLM-Guided Feedback},
author = {Sukannya Purkayastha and Qile Wan and Anne Lauscher and Lizhen Qu and Iryna Gurevych},
journal= {arXiv preprint arXiv:2602.10118},
year = {2026}
}
备注
39 pages, 22 figures, 29 tables