十年网络安全用户研究的统计可靠性(扩展版)
人机交互
2020-10-06 v1 密码学与安全
摘要
背景。近年来,网络安全用户研究已在元研究层面受到评估,主要聚焦于其统计推断的完整性与统计报告的忠实度。然而,该领域统计功效分布与发表偏倚的估计未受太多关注。目的。本研究中,我们旨在估计存在的效应量及其标准误,以及其对统计功效与发表偏倚的影响。方法。我们基于一项已发表的网络安全领域 项用户研究(2006–2016)的系统文献综述。我们纳入了 项统计推断,包括 -、-、-、单因素 -检验与 -检验。此外,我们编码了相应的总样本量、组大小与检验族。给定这些数据,我们确立了观测效应量并评估了整体发表偏倚。我们进一步针对参数化总体阈值计算统计功效,以获得功效分布的无偏估计。结果。我们获得了效应量分布及其转换为可比较的对数优势比及其标准误。我们进一步得到样本中发表偏倚的漏斗图估计,以及对功效分布及其后果的洞见。结论。透过功效与发表偏倚的视角,我们阐明该领域研究的统计可靠性。此内省的要旨是关于开展与评估研究以推进该领域的实践性建议。
引用
@article{arxiv.2010.02117,
title = {Statistical Reliability of 10 Years of Cyber Security User Studies (Extended Version)},
author = {Thomas Groß},
journal= {arXiv preprint arXiv:2010.02117},
year = {2020}
}
备注
Open Science Framework: https://osf.io/bcyte. 31 pages. This is the author's copy. This work was supported by the ERC Starting Grant Confidentiality-Preserving Security Assurance (CASCAde), GA no 716980