为生物医学研究设计的软件影响力评估:我们是否在衡量有意义的东西?

软件对于生物学和医学的发展至关重要。使用情况和影响力指标的分析可帮助开发者了解用户和社区的参与度、证明额外资金的合理性、鼓励更多使用、识别未预期的使用场景,并有助于界定改进方向。然而,这些分析面临诸多挑战,包括失真或误导性的指标,以及伦理和安全问题。需要更多地关注在捕获各类生物软件影响力过程中的细微差别。此外,某些工具可能对小众受众特别有益,却未必具备引人注目的典型使用指标。我们提出了更通用的指导方针,以及针对更具体软件类型的策略。我们强调了社区在如何衡量或评估软件影响力方面的突出问题。为深入理解当前的软件评估实践,我们对美国国家癌症研究所(NCI)资助的癌症研究信息学技术(ITCR)计划的参与者进行了调查。我们还调查了该社区及其他社区中的软件,以评估支持此类评估的基础设施的实施频率,以及这如何影响描述软件使用的论文发表率。我们发现开发者认识到分析软件使用的效用,但难以找到时间或资金进行此类分析。我们还发现,社交媒体存在、更深入的文档、软件健康指标的存在,以及清晰的开发者联系信息等基础设施似乎与更高的使用率相关。我们的发现可帮助科学软件开发者充分利用对其软件的评估。