软件工程研究中的开放科学现状：ICSE 文献存档的案例研究

复制包是实现软件工程（SE）研究透明性、验证和重用的关键。尽管在顶级SE会议如ICSE中，存档共享已成为标准做法甚至被期待，但这些复制包的实际可用性仍未得到充分探索。特别是，缺乏对复制包可执行性和可重复性的全面性研究。在本文中，我们旨在填补这一差距，通过评估过去十年（2015-2024年）ICSE proceedings中发布的100个复制包。我们评估了（1）复制包的可执行性，（2）执行这些包所需的努力和修改，（3）导致执行失败的挑战，以及（4）对于可执行的包，其结果的可重复性。我们总共花费了约650人小时来执行这些存档并复现研究发现。我们的分析显示，仅有40个100个评估的存档是完全可执行的。在这些存档中，32.5%无需任何修改即可运行。然而，即便是可执行的存档也需要不同的程度的努力：17.5%需要低努力，而82.5%需要中等到高努力才能成功执行。我们识别出5种常见的修改类型和13种导致执行失败的挑战，涵盖了环境、文档和结构性问题。在可执行存档中，仅有35%（即40个中的14个）复现了原始结果。这一发现凸显了存档可用性、可执行性和可重复性之间的显著差距。我们的研究提出了三项可操作性指南，以改进研究存档的准备、文档和审查，从而加强软件工程研究中开放科学实践的严谨性和可持续性。