科学计量学研究中可重复性问题的探索 第一部分:直接可重复性
数字图书馆
2018-04-16 v1
摘要
这是一项小规模探索性研究的第一部分,旨在开始评估科学计量学研究特有的可重复性问题。这一努力是出于生成实证数据以启发有关科学计量学可重复性辩论的愿望。我们并未尝试复现研究,而是探讨如何基于对已发表论文内容的批判性审查来评估“原则上”的可重复性。研究的第一部分聚焦于直接可重复性——即使用相同的数据、方法和程序,复现原始研究产生的特定证据的能力。第二部分(Velden et al. 2018)致力于概念可重复性——即知识主张在使用不同数据、方法和程序的替代方法进行验证时的稳健性。本研究是探索性的:它仅调查了非常有限数量的出版物,并帮助我们开发用于识别已发表研究潜在可重复性问题的工具:这些工具是研究类型的分类和可重复性威胁的分类法。我们选取了五篇涵盖理论、方法和经验等不同研究类型的科学计量学出版物作为样本。基于在探索性审查期间所做的观察,我们以关于如何处理和评估科学计量学中直接可重复性现状的开放性问题作为本文的结尾,旨在供在莱顿举行的 STI2018 “科学计量学中的可重复性”特别专题讨论会上讨论。
引用
@article{arxiv.1804.05024,
title = {Exploration of reproducibility issues in scientometric research Part 1: Direct reproducibility},
author = {Ludo Waltman and Sybille Hinze and Andrea Scharnhorst and Jesper Wiborg Schneider and Theresa Velden},
journal= {arXiv preprint arXiv:1804.05024},
year = {2018}
}
备注
STI2018 Leiden, submitted