同行评审作为基于角色交互的多轮长上下文对话
计算与语言
2024-06-11 v1 人工智能
机器学习
摘要
大型语言模型（LLMs）已在各个领域展现出广泛的应用，并在学术同行评审过程中显示出巨大潜力。然而，现有应用主要局限于基于提交论文的静态评审生成，未能捕捉真实世界同行评审的动态和迭代特性。在本文中，我们将同行评审过程重新构想为一个多轮、长上下文的对话，其中包含了作者、评审者和决策者的不同角色。我们构建了一个包含来自多个来源（包括顶级会议和知名期刊）的26,841篇论文和92,017条评审的综合数据集。该数据集经过精心设计，以促进LLMs在多轮对话中的应用，有效模拟完整的同行评审过程。此外，我们提出了一系列指标，用于评估LLMs在这种重新构想的同行评审设置下每个角色的表现，确保公平和全面的评估。我们相信，这项工作通过引入动态的、基于角色的交互，为增强LLM驱动的同行评审过程提供了一个有前景的视角。它与真实世界学术同行评审的迭代和交互性质高度一致，为该领域的未来研究和发展提供了坚实的基础。我们在https://github.com/chengtan9907/ReviewMT开源了该数据集。
引用
@article{arxiv.2406.05688,
title = {Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions},
author = {Cheng Tan and Dongxin Lyu and Siyuan Li and Zhangyang Gao and Jingxuan Wei and Siqi Ma and Zicheng Liu and Stan Z. Li},
journal= {arXiv preprint arXiv:2406.05688},
year = {2024}
}
备注
Under review