创建与验证网络安全概念清单的经验与教训
密码学与安全
2020-04-14 v1 计算机与社会
摘要
我们反思了在教育性网络安全评估工具（CATS）项目中创建两份网络安全概念清单的持续历程。我们确定了这一历程中的关键步骤以及我们所面临的重要问题。我们解释了所做的决策并讨论其后果，强调哪些行之有效、哪些本可更好。CATS 项目正在创建并验证两份概念清单——即理解力的概念性测试——可用于衡量各种网络安全教与学方法的有效性。网络安全概念清单（CCI）面向刚完成任何一门网络安全入门课程的学生；网络安全课程评估（CCA）面向刚完成网络安全本科主修或方向的学生。每种评估工具包含 25 道不同难度的多项选择题（MCQ），针对相同的五个核心概念，但 CCA 假定更高的技术背景。关键步骤包括界定项目范围、识别核心概念、揭示学生误解、创建情境、起草题干、开发干扰项答案、生成教学材料、进行专家评审、招募学生被试、组织研讨会、建立社区认可、组建团队并培养协作、采用工具，以及获取与使用经费。创建有效的 MCQ 困难且耗时，网络安全带来了特殊挑战。由于网络安全问题往往微妙，对抗模型与细节至关重要，构建恰好只有一个最佳但非显而易见答案的 MCQ 颇具挑战。我们希望我们的经验与教训能帮助他人在 STEM 领域创建更有效的概念清单与评估。
引用
@article{arxiv.2004.05248,
title = {Experiences and Lessons Learned Creating and Validating Concept Inventories for Cybersecurity},
author = {Alan T. Sherman and Geoffrey L. Herman and Linda Oliva and Peter A. H. Peterson and Enis Golaszewski and Seth Poulsen and Travis Scheponik and Akshita Gorti},
journal= {arXiv preprint arXiv:2004.05248},
year = {2020}
}
备注
Invited paper for the 2020 National Cyber Summit, June 2-4, 2020, in Huntsville, AL