从指南到实践：评估计算社会科学方法的可重复性
人机交互
2026-03-04 v2
摘要
在计算社会科学中，可重复性仍是一个核心挑战，复杂的工作流程、不断演变的软件生态系统以及不一致的文档阻碍了研究人员重新执行已发布方法的能力。本研究系统评估了可重复性在三种条件下的表现：未筛选的文档、筛选后的文档以及筛选后的文档配合预设执行环境。我们采用 47 个可用性测试会话，结合行为绩效指标（成功率、任务时间和错误概况）与问卷数据和主题分析，以识别可重复性的技术和概念性障碍。筛选后的文档显著减少了存储库级别的错误，改善了用户理解方法输出的能力。标准化执行环境进一步提高了可重复性，实现了最高的成功率和最短的任务完成时间。在各种条件下，参与者经常依赖 AI 工具进行故障排除，常常能够在没有 facilitator 介入的情况下独立解决问题。我们的发现表明，可重复性障碍是多层次的，需要在文档质量、环境稳定性和概念清晰度方面进行协调性改进。我们讨论了为计算社会科学的可重复性平台和基础设施设计 implications。
引用
@article{arxiv.2602.12747,
title = {From Guidelines to Practice: Evaluating the Reproducibility of Methods in Computational Social Science},
author = {Fakhri Momeni and Sarah Sajid and Johannes Kiesel},
journal= {arXiv preprint arXiv:2602.12747},
year = {2026}
}