基于ChatGPT评估学术图书描述的质量

尽管基于学术引用的指标广泛用于支持学术期刊的评估，但学术图书的获取仍需替代方案。本文评估了ChatGPT 4o-mini为2019年在Scopus中收录的9830本社会科学、艺术和人文学术图书（仅基于标题和描述，不包含全文）所提供的研究质量分数的价值。尽管大多数图书得分相同（按1*至4*比例计为3*），但引用率在社会科学和艺术人文领域均与ChatGPT 4o-mini研究质量分数呈正相关（虽为弱相关）。差异的部分原因是包括教科书、短书和编辑丛书，这些书往往引用较少且得分较低。某些主题也会吸引更多/更少引用和/或更高/更低的ChatGPT分数。描述中明确提及理论和/或某些方法的描述与更高的得分和更多引用相关联。总体而言，结果表明ChatGPT分数和引用计数都是学术图书研究质量的弱指示器。虽然这两种指标不足以支持单个图书的质量判断，但可能有助于学术图书馆员评估新图书丛书、系列或出版商的获取潜力。