Defend：面向同行评审的自动化反驳工具
人工智能
2026-03-31 v1
摘要
反驳生成是科学论文同行评审过程中的关键环节, 使作者能够澄清误解, 更正事实错误, 并引导评审者 toward 更准确的评估. 我们注意到, 大型语言模型 (LLM) 常常在用于反驳生成时难以进行有针对性的反驳, 且难以保持准确的事实 grounding, 这凸显了需要结构化推理和作者介入的必要性. 为此, 本文引入 DEFEND 一个基于 LLM 的工具, 旨在显式执行自动化反驳生成的底层推理过程, 同时保持作者在环内. 与从头编写反驳不同, 作者只需进行最小的介入即可驱动推理过程, 从而实现一种高效、低认知负荷的方法. 我们将 DEFEND 与三种其他范式进行比较: (i) 使用 LLM 的直接反驳生成 (DRG), (ii) 使用 LLM 的分段反驳生成 (SWRG), (iii) 在没有作者介入的情况下进行的分段反驳生成的顺序方法 (SA). 为实现细粒度评估, 我们扩展了 ReviewCritique 数据集, 创建了评论分段、缺陷、错误类型注释、反驳-动作标签, 并映射到金标准反驳段落. 实验结果和用户研究表明, 直接使用 LLM 在事实正确性和有针对性的反驳方面表现不佳. 分段生成和带有作者在环内的自动化顺序方法显著改善了事实正确性和反驳力度.
引用
@article{arxiv.2603.27360,
title = {Defend: Automated Rebuttals for Peer Review with Minimal Author Guidance},
author = {Jyotsana Khatri and Manasi Patwardhan},
journal= {arXiv preprint arXiv:2603.27360},
year = {2026}
}