秘密检测工具对软件秘密报告的比较研究
密码学与安全
2023-07-04 v1 软件工程
摘要
背景：根据GitGuardian对公共GitHub仓库的监测，与2021年相比，2022年秘密泄露继续以67%的速度加速，暴露了超过1000万条秘密（API密钥及其他凭证）。尽管有许多开源与专有秘密检测工具可用，这些工具输出大量误报，使开发者难以采取行动、团队难以从众多工具中择一。据我们所知，秘密检测工具尚未被比较和评估。目标：我们研究的目标是通过对现有秘密检测工具的实证研究，帮助开发者选择秘密检测工具以减少秘密暴露。方法：我们基于一个基准数据集对五个开源和四个专有工具进行了评估。结果：基于精确率排名前三的工具为：GitHub Secret Scanner（75%）、Gitleaks（46%）和Commercial X（25%）；基于召回率排名为：Gitleaks（88%）、SpectralOps（67%）和TruffleHog（52%）。我们对报告秘密的手动分析揭示，误报源于采用通用正则表达式和无效的熵计算。相反，漏报源于错误的正则表达式、跳过特定文件类型以及规则集不足。结论：我们建议开发者根据项目中存在的秘密类型选择工具，以防遗漏秘密。此外，我们建议工具供应商定期更新检测规则，并通过与API供应商协作正确采用秘密验证机制以提高准确性。
引用
@article{arxiv.2307.00714,
title = {A Comparative Study of Software Secrets Reporting by Secret Detection Tools},
author = {Setu Kumar Basak and Jamison Cox and Bradley Reaves and Laurie Williams},
journal= {arXiv preprint arXiv:2307.00714},
year = {2023}
}
备注
Accepted at the Technical Track of the International Symposium on Empirical Software Engineering and Measurement (ESEM 2023)