ALMA第8周期分布式同行评审过程分析
天体物理仪器与方法
2023-02-15 v2
摘要
为应对传统小组评审中审稿人工作量大以及提交提案数量增加的挑战，ALMA实施了分布式同行评审来评估第8周期主征集所提交的大多数提案。本文对该评审过程进行分析。超过1000名审稿人参与了评审1497份提案的过程，使其成为迄今为止天文学中规模最大的分布式同行评审实施，并标志着该过程首次被用于分配天文台大部分观测时间。我们描述了将提案分配给审稿人的过程，分析了审稿人提交的近15000条排序与评论以识别趋势与系统性，并通过调查收集审稿人与首席研究员（PI）对该过程的反馈。约90%的提案分配与审稿人专业领域相符，这既通过审稿人提供的专业关键词也通过审稿人对所分配提案专业性的自评来衡量。PI将73%的个别评审评论评为有帮助，且尽管审稿人经验水平跨度广泛，PI对学生与资深研究者所提交评论的质量评价相似。PI提出的主要担忧是部分审稿评论的质量以及排序的离散度较大。排序与评论与各类人口统计特征相关联，以识别未来周期中评审过程可改进的主要方面。
引用
@article{arxiv.2204.05390,
title = {Analysis of the ALMA Cycle 8 Distributed Peer Review Process},
author = {Jennifer Donovan Meyer and Andrea Corvillón and John M. Carpenter and Adele L. Plunkett and Robert Kurowski and Alex Chalevin and Jakob Bruenker and D. -C. Kim and Enrique Macías},
journal= {arXiv preprint arXiv:2204.05390},
year = {2023}
}
备注
57 pages, 48 figures; accepted for publication in BAAS. [v2] is a minor revision, clarifying that we describe the largest implementation of distributed peer review to date in astronomy