十年网络安全用户研究中统计报告的忠实度

安全的人机交互与社会技术方面的研究通常依赖用户研究以及对所调查关系的统计推断来论证其观点。由此，从业者和科学家得以判断所开展研究的有效性与可靠性。为确认这一能力，我们调查了安全用户研究的报告忠实度。基于对 2006—2016 年十年间选自若干会议场所的 $114$ 篇网络安全用户研究的系统文献综述，我们使用 \textsf{R} 包 \textsf{statcheck} 评估了 $1775$ 项统计推断的报告忠实度。我们对不完整报告、报告不一致和决策错误进行了系统分类，进而对发表场所/年份的影响进行了多项逻辑回归（MLR）分析，并与一个可类比的心理学领域进行比较。我们发现，所考虑的网络安全用户研究中有一半报告了不完整结果，这与心理学领域的可比结果形成鲜明反差。我们对分析结果的 MLR 显示，随时间推移不完整检验的可能性略有增加，而 SOUPS 相较于其他场所正确报告统计量的可能性高出几个百分点。在本研究中，我们提供了首个针对安全社会技术学研究现状的完全定量分析。在强调不完整报告的普遍性与影响的同时，我们也给出了细粒度诊断及应对该状况的建议。