为何多数社会技术安全用户研究的结果为假

背景。近年来，网络安全用户研究因其报告完整性、统计报告保真度、统计可靠性与偏差而受到审视。此类研究的阳性报告实际所提供的证据强度仍是一个开放问题。我们关注阳性报告在多大程度上指示现实中真实的关系，即一种概率性评估。目的。本研究旨在建立网络安全用户研究中证据的整体强度，其维度包括——阳性预测值(PPV)及其补集假阳性风险(FPR)、——似然比(LR)，以及——针对固定可容忍假阳性风险的逆贝叶斯先验(RBP)。方法。基于一项已发表的系统文献综述(SLR)中涵盖2006–2016年的146篇网络安全用户研究里的431条编码统计推断，我们首先在假定先验与偏差阈值下计算后验假阳性风险的模拟。其次，我们建立阳性报告的观测似然比。第三，我们通过计算固定后验假阳性率所需的先验，对观测到的阳性报告进行逆贝叶斯论证。结果。我们获得了对证据强度的全面分析，包括对恰当多重比较校正的说明。模拟表明，即便在控制良好条件与高先验似然下，仅有少数研究达到良好的后验概率。结论。我们的工作表明该领域的证据强度薄弱，且多数阳性报告可能为假。由此，我们认识到在研究中需警惕什么以推进该领域的知识。