使用 ChatGPT 评估学术研究的社会影响：影响力案例研究评估
数字图书馆
2024-10-29 v1 人工智能
摘要
学术界和院系有时会根据其研究如何造福社会来接受评估。例如，英国卓越研究框架评估影响力案例研究，这些案例研究是长达五页的、基于证据的社会影响声明。本研究调查 ChatGPT 是否能够评估社会影响声明，从而有可能为人类专家评估员提供支持。为此，将 REF2021 中 6,220 份公开 ICS 的各个部分连同 REF2021 评估指南一起输入 ChatGPT 4o-mini，并将结果与已发布的院系平均 ICS 得分进行比较。结果表明，与专家得分高相关的最优策略是仅输入 ICS 的标题和摘要而不输入其余文本，并修改原始 REF 指南以鼓励更严格的评估。该方法生成的得分在所有 34 个评估单元中均与院系平均得分呈正相关，其值介于 0.18（经济学与计量经济学）和 0.56（心理学、精神病学和神经科学）之间。在院系层面，相应的相关性更高，在体育与运动科学、休闲与旅游领域达到 0.71。因此，基于 ChatGPT 的 ICS 评估简单且可行，可用于支持或交叉检验专家的判断，尽管其价值在不同领域之间存在显著差异。
引用
@article{arxiv.2410.19948,
title = {Assessing the societal influence of academic research with ChatGPT: Impact case study evaluations},
author = {Kayvan Kousha and Mike Thelwall},
journal= {arXiv preprint arXiv:2410.19948},
year = {2024}
}