作者在回环中的响应生成与评估：整合作者专业知识与意图于对同行评审的回应
计算与语言
2026-05-26 v3
摘要
作者回应（rebuttal）写作是科学同行评审的关键阶段，需付出大量作者劳动。在实践中，作者拥有领域专业知识、作者专属信息以及响应策略等具体形式的专业知识与意图，并寻求 NLP 辅助将这些信号整合到作者响应生成（ARG）中。然而，这一作者在回环中的范式缺乏正式的 NLP 表述和系统性研究：没有数据集提供细粒度的作者信号，现有的 ARG 研究缺乏作者输入与控制，亦无衡量响应反映作者信号及其针对审稿人关切的效果的评估指标。为填补这一空白，我们提出 (i) Re3Align，首个大规模对齐的评审-响应-修订三元组数据集，其中修订作为作者信号的代理；(ii) REspGen，一个支持灵活作者输入、多属性控制和评估导向精炼的作者在回环中的 ARG 框架；(iii) REspEval，一个覆盖输入利用、可控性、响应质量与话语的 20 多项评估指标的全面评估套件。使用最新 LLM 进行实验表明，作者输入与评估导向的精炼均带来显著好处，输入的具体性对响应质量产生影响，而可控性与质量之间存在权衡。我们发布了数据集、生成与评估工具。
引用
@article{arxiv.2602.11173,
title = {Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review},
author = {Qian Ruan and Iryna Gurevych},
journal= {arXiv preprint arXiv:2602.11173},
year = {2026}
}
备注
accepted to ACL 2026 Main Conference