评估领域X实践现状的方法论
软件工程
2021-10-25 v1
摘要
为改进科研软件的软件开发方法与工具，我们首先需要理解当前的实践现状。为此，我们开发了一种用于评估特定科研软件领域软件开发实践现状的方法论。对于每个领域，我们希望回答以下问题：i) 存在哪些制品（文档、代码、测试用例等）？ii) 使用了哪些工具？iii) 使用了哪些原则、流程与方法论？iv) 开发者的痛点是什么？v) 采用了哪些措施来改进可维护性与可复现性等质量？为回答这些问题，我们的方法论规定了以下步骤：i) 确定领域；ii) 确定候选软件包列表；iii) 将列表筛选至约30个软件包；iv) 收集每个软件包的源代码与文档；v) 收集每个软件包的仓库相关数据，如星标数、未解决问题数、代码行数；vi) 填写度量模板（该模板包含108个问题，用于评估9项质量，包括可安装性、可用性与可见性）；vii) 访谈开发者（访谈包含20个问题，耗时约一小时）；viii) 使用层次分析法（AHP）对软件进行排序；ix) 分析数据以回答上述提出的问题。应全程引入领域专家，以确保领域隐含信息得到恰当呈现，并协助分析所选30个软件包之间的共性与差异。基于我们的方法论、电子表格模板与AHP工具，我们（根据使用该流程的经验）估计完成一个给定领域的评估耗时约为173人时。
引用
@article{arxiv.2110.11575,
title = {Methodology for Assessing the State of the Practice for Domain X},
author = {Spencer Smith and Jacques Carette and Peter Michalski and Ao Dong and Olu Owojaiye},
journal= {arXiv preprint arXiv:2110.11575},
year = {2021}
}
备注
35 pages, 3 figures