将可重复性度量整合进学术检索：挑战与机遇
数字图书馆
2024-05-06 v2 人机交互
摘要
由成功率平平的大型复制项目推动，可重复性与可复制性面临的挑战已获得广泛关注。新兴工作致力于开发算法以估计已发表发现的可复制性。本研究探讨将 AI 赋能的研究置信度信号整合进文献检索的方式。我们访谈了 17 名 PhD 研究者，了解其当前的文献检索流程，并请他们就一款可复制性估计工具提供反馈。我们的发现表明，参与者倾向于将可复制性与泛化性及相关概念混淆。关于可复制性的信息可在研究设计过程中为研究者提供支持。然而，由于缺乏可解释性与透明度，AI 估计的使用尚存争议。在此类工具被广泛接受之前，必须进一步研究 AI 赋能置信度评估的伦理影响。我们讨论了支持学术活动与推进可复制性的技术工具设计启示。
引用
@article{arxiv.2311.00653,
title = {Integrating measures of replicability into scholarly search: Challenges and opportunities},
author = {Chuhao Wu and Tatiana Chakravorti and John Carroll and Sarah Rajtmajer},
journal= {arXiv preprint arXiv:2311.00653},
year = {2024}
}