基于学习模型和最小属性树的高效日志存储系统 LESS
密码学与安全
2024-11-27 v1
摘要
近年来，网络攻击日益复杂且持久。基于关联图的探测和调查可有效缓解网络入侵。然而，随着防御的时间跨度增加，关联图的庞大规模将对存储系统提出重大挑战。面对长期存储任务，现有方法无法同时实现无损信息、高效压缩和快速查询支持。本文提出一种新型关联图存储系统 LESS，相较于当前方法，LESS 的存储空间更小，存储和查询速度更快。我们创新性地将关联图划分为两个 distinct 组成部分——图结构和属性，分别进行存储。根据各自的特征，我们设计了两种合适的存储方案：基于机器学习的关联图结构存储方法，以及用于存储图属性的最小生成树方法。与当前最先进方法 LEONARD 相比，LESS 在存储时间上减少 6.29 倍，磁盘使用量减少 5.24 倍，查询速度提升 18.3 倍，仅使用 11.5% 的内存即可在 DARPA TC 数据集上实现。
引用
@article{arxiv.2411.17091,
title = {LESS: Efficient Log Storage System Based on Learned Model and Minimum Attribute Tree},
author = {Zhiyang Cheng and Zizhen Zhu and Haoran Dang and Hai Wan and Xibin Zhao},
journal= {arXiv preprint arXiv:2411.17091},
year = {2024}
}