指标对天文学知识生产影响的洞察
物理教育
2018-01-25 v1 天体物理仪器与方法
摘要
我们对莱顿大学的天文学家进行了九次访谈，并对相关的机构(自我)评估文件、年度报告以及受访者的简历进行了文献分析。旨在对天文学家的研究行为与其科学被评价方式之间的关系进行定性研究。该研究涵盖了资助与出版系统，以及用于衡量科学产出、其质量与研究绩效的指标。本报告阐明了天文学家如何定义高质量研究，以及他们认为有价值知识的创造如何被评价过程所鼓励或阻碍。我们发现天文学家是现实主义者，以"真理"为基础定义科学质量，并受好奇心驱动。这两个因素构成了他们从事天文学研究的内在价值与动机。源于"系统"要求的发表压力造成了外在动机。这导致 premature publications（过早发表）、可读性低与可复现性差、风险规避以及重数量轻质量。因此，指标不仅代表质量，也共同构成了什么算作好研究。当我们观察到指标使用对研究行为与内容此类构成性效应时，并未看到天文学家的内在价值被共同构成。这导致了指标所衡量者与天文学家所定义的科学质量之间的偏差；即所谓的"评价鸿沟"。关于天文学中构成性效应与评价鸿沟的发现，为进一步实证研究以及关于替代性评价实践与创新指标以弥合"评价鸿沟"的政策建议奠定了概念基础。
引用
@article{arxiv.1801.08033,
title = {Insights into the effects of indicators on knowledge production in Astronomy},
author = {Julia Heuritsch},
journal= {arXiv preprint arXiv:1801.08033},
year = {2018}
}