TreeReview：面向深度高效基于大语言模型的科学同行评审的动态问题树框架
计算与语言
2025-09-10 v3
摘要
尽管大语言模型（LLM）在协助同行评审方面显示出巨大的潜力，但当前方法常常难以在保持效率的同时生成详尽且富有洞察力的评审。本文提出TreeReview，一种将论文评审建模为层次化和双向问答过程的新型框架。TreeReview首先通过递归分解高层问题为细粒度子问题来构建评审问题树，然后通过从叶节点到根节点迭代聚合答案来获得最终评审。关键在于，我们纳入动态问题扩展机制，以便在需要时生成后续问题以实现更深入的探测。我们构建了一个源自ICLR和NeurIPS会议的数据基准，用于评估我们的 метод在完整评审生成和可操作反馈评论生成任务方面的表现。实验结果显示，基于LLM的和人类评估结果均表明，TreeReview在提供全面、深入且与专家一致的评审反馈方面优于强大基线，同时将LLM的token使用降低最高可达80%。我们的代码和基准数据集已公开于 https://github.com/YuanChang98/tree-review。
引用
@article{arxiv.2506.07642,
title = {TreeReview: A Dynamic Tree of Questions Framework for Deep and Efficient LLM-based Scientific Peer Review},
author = {Yuan Chang and Ziyue Li and Hengyuan Zhang and Yuanbo Kong and Yanru Wu and Hayden Kwok-Hay So and Zhijiang Guo and Liya Zhu and Ngai Wong},
journal= {arXiv preprint arXiv:2506.07642},
year = {2025}
}
备注
Accepted to EMNLP2025 Main