TSTEM：一个用于收集野外网络威胁情报的认知平台
密码学与安全
2024-02-16 v1
摘要
从开源中提取网络威胁情报（CTI）是一种迅速扩展的防御策略，可增强信息技术（IT）和运营技术（OT）环境抵御大规模网络攻击的弹性。虽然先前的研究专注于改进提取过程的各个组件，但社区缺乏用于在野外部署流式 CTI 数据管道的开源平台。为填补这一空白，本研究描述了一个高效且性能优异平台的实现，该平台基于云计算范式，能够处理计算密集型数据管道，以实现对不同在线来源 CTI 的实时检测、收集和共享。我们开发了一个原型平台（TSTEM），这是一种容器化的微服务架构，利用 Tweepy、Scrapy、Terraform、ELK、Kafka 和 MLOps 在野外自主搜索、提取和索引失陷指标（IOCs）。此外，TSTEM 平台的配置、监控和管理是通过基础设施即代码（IaC）实现的。自定义聚焦爬虫收集网络内容，随后由一级分类器处理以识别潜在的失陷指标（IOCs）。如果 deemed 相关，内容将进入二级提取阶段进行进一步检查。在整个过程中，利用了最先进的 NLP 模型进行分类和实体提取，从而增强了整体的 IOC 提取方法。我们的实验结果表明，这些模型在分类和提取任务中表现出高精度（超过 98%），并在不到一分钟的时间内实现了这一性能。我们系统的有效性归因于一种在多阶段运行的精细调优的 IOC 提取方法，确保了以低误报率精确识别相关信息。
引用
@article{arxiv.2402.09973,
title = {TSTEM: A Cognitive Platform for Collecting Cyber Threat Intelligence in the Wild},
author = {Prasasthy Balasubramanian and Sadaf Nazari and Danial Khosh Kholgh and Alireza Mahmoodi and Justin Seby and Panos Kostakos},
journal= {arXiv preprint arXiv:2402.09973},
year = {2024}
}